[작성자:] kun7788

  • [아이디어] 스크래핑 내재화에 도전하다

    회원의 실제 거주여부를 확인하기위해서, CODEF라는 회사에서 만든 주민등록등본을 제공받는 API를 사용한다.

    해당 CODEF API가 사실은 정부24 웹페이지에서 스크래핑기술을 이용하여,

    주민등록등본을 발급하는 방식으로 동작하는데, 가격이 사실..후덜덜하다,

    건당 120원정도 한다.

    회원이 급격하게 늘거나, 동일 회원이 여러번 스크래핑을 수행해야하는 경우,

    가격이 만만치 않다.

    건당 120원이나 되면…

    그런데 이거 인터넷 주민등록등본 발급은 무료인데…(봉이 김선달이네!!!)

    그래서 이 스크래핑을 내재화하여, 추가적인 비용을 줄일수있는 방법을 없을까 생각을 해봤다.

    우선 스크래핑을 어떤식으로 만들어야 좋을지를 정리해 봤다.

    1) 서버 스크래핑방식보다는 클라이언트 스크래핑 방식으로 구현한다.

        – 서버 스크래핑은 서버에서 리모트 크롬 브라우저를 띄우고,

           정부24웹페이지에 회원이 접근하는것과 같이 스크립트를 통해, 진행한다.(마치 오토마우스 처럼)

       – 단점 :

                 – 다수의 부정한 접근(다른사용자이지만 같은 서버아이피로 접근)으로 판단되면,

                    정부24에서 서버의 아이피를 막아버린다.

                    서버의 아이피가 막히지 않게 하기위해, 다수의 서버를 준비하여 롤링하며 스크래핑을 동작하고,

                    최대한 부정접근에 걸리지않게 천천히 느리게 스크래핑을 한다. (TPS가 상당히 떨어진다)

                – 클라이언트 스크래핑은 사용자의 앱에서 웹뷰를 통해, 스크래핑을 진행하기에,

                  부정한 접근으로 아이피가 막히는 경우를 예방할수있다.

                  그리고 사용자의 각각의 앱의 웹뷰에서 스크래핑이 진행되기에, 성능도 최대한 올릴수있다.

    2) 스크래핑을 위한 스크립트를 클라이언트에 하드코딩하지 않는다.

    – 클라이언트 스크래핑의 가장 큰 단점은 스크래핑하려는 웹페이지가 변경되는 경우,

       스크래핑 로직(스크립트)이 클라이언트에 존재하기때문에, 앱배포를 통해 대응해야한다.

       (앱배포는 상당한 시간이 걸리지…ㅠㅠ)

    – 따라서, 스크래핑 로직은 서버에서 API로 관리하고, 클라이언트는 해당 로직코드를 앱에 하드코딩하지않고,

       API를 통해 내려받아 동적으로 사용한다.

       문제가 있을경우, 서버에서 스크래핑 로직(스크립트)을 수정배포한다.

    3) 웹뷰와 앱간의 브릿지 통신에 대한 최대한의 스펙을 정리한다.

    – 결국 웹뷰에서 스크래핑을 위한 스크립트를 실행하는 구조기때문에, 스크립트 덩어리로 동작을 하게 되는데,

      이경우 일정한 스펙을 만들지 않으면, 관리가 어려워진다.

      따라서, 어셈블리나 여타 스택머신과 같이 동작하도록 “명령어 인자 …”와 같은 스펙으로 웹뷰와 앱간에 브릿지 통신 스펙을 만들고,

      해당 스펙을 통해, 스크립트를 동작시키도록 한다.

    위에 3가지를 고민했고, 위의 고민으로 주말에 각잡고 만들어봤다!!! ㅋㅋㅋ (절대 할일없어서 아님!)

    목표는 정부24의 주민등록등본 발급 스크래핑!!!!

    결과는!!!!

    성공적!!!

    다만 왜,, 서버 방식으로 스크래핑을 많이 구현하는지 알것같기도 한다…

    서버 방식이 훨씬 난이도가 낫다…

    클라이언트 방식의 난이도가 상단히 높았다…

    클라이언트에서는 웹뷰를 통해, 스크래핑을 시도하게 되는데, 웹뷰 이놈이 상당히 별로다.

    즉, pc브라우저 대비, 안되는 기능들이 너무 많아서, 여러 이슈들을 해결하며 스크래핑 엔진을 만들어야한다.

    클라이언트 엔진, 서버 스크래핑 명령어 API 이 2개를 모두 잘 만들어야 하기에,

    난이도가 생각보다 높았다….

    어려움이 있었지만, 그래도 성공적이다.

    조금만 다듬으면, 클라이언트 방식 스크래핑 엔진을 릴리즈 할수있을듯하고, 많은 비용을 세이브할것 같다.

    (이걸로 장사해도 되겠다!! 건당 50원!!! 어떤가 CODEF!!! 무섭지?!!)

    아래는 실제 동작하는것 녹화한것!! ㅋㅋ

  • [개발 생각] 양자컴퓨터에 대해서..

    양자컴퓨터 주식을 예전부터 모으고 있다… 5년내에 유의미한 발전이 있을것이라는 결론과 함께 ㅋㅋ

    예전에 양자역학과 양자컴퓨터에 관심이 있었고,

    결국은 술좋아하면, 알콜중독으로 가듯이..

    양자역학, 양자컴퓨터 좋아하면, 관련 주식들을 사게 되더라는 ㅋ

    이미 주식은 많이 보유하고 있지만, 꾸준하게 사모을 예정이긴하다. (여윳돈이 생기면ㅎ)

    최근에는 양자컴퓨터에 대해서 너무 러프하게만 알고있다고 생각이 들어서,

    책한권을 도서관에서 빌려서 읽게 되었다.

    꽤 내용이 상세하면서 그간 궁금했던부분에 대해서, 이야기를 다루고 있어서 도움이 많이 된것 같다.

    책 제목은 “처음 읽는 양자컴퓨터 이야기“라는 책이다.

    (참 유익한 책이다. 추천!!!)

    주의!!! 책팔이 아님!!!!!

    너무나 궁금했던 부분이 있었는데, 이책을 읽고 많이 해소가 되었다.

    궁금했던것이 무엇이었냐면,

    “기존 컴퓨터에서는 전기의 on/off에 따라 트랜지스터를 이용하여,

    0과1로 신호를 바꾼 2진수로 모든 컴퓨터는 동작한다는것은 알고있었고,

    양자컴퓨터는 0과1뿐만이 아닌, 0과1이 혼재되어있는 중첩상태가 더 있기에,

    2^n승으로 동작한다는 것은 충분히 이해가 가는 부분이긴했다.”

    그런데 정말 궁금했던것은 아래 부분이다.

    “양자컴퓨터는 이런 0과1 그리고 0과1이 동시에 존재하는 중첩상태를 이용해서 더 빠르게 모든 경우의 수를 거의 동시에 찾아낸다.

    그리고 우리는 이 모든 상황에 대한 답 꾸러미가 있는 곳에서 우리가 원하는 답을 골라내서 값을 찾는다” 라는 부분이다.

    양자컴퓨터가 어마어마하게 빨라서 우리가 계산해야하는 모든경우의 수(답)을 이미 알고있고,

    양자역학이론으로 우리는 그 꾸러미에서 최종적으로 올바른 답을 관측을 하여 답을 찾아야하는 시스템이라는것은 알고있는데,

    여기서 그 답을 골라낸다는 이야기가 결국은 우리가 답을 알고있다는 이야기인가??

    우리는 답을 몰라서 양자컴퓨터로 답을 찾아달라고 한건데,

    결국 우리가 양자 컴퓨터가 계산한 모든 경우의수에서 우리가 답을 골라내야 한다니..이건 뭐…혼란이었다..

    답을 모르는데, 답을 골라내야한다는 말도 안되는 말 같았다..

    이 부분이 가장 혼란스럽고, 이해를 할수없었던 부분이였긴했고, 해당 부분을 다른곳에서 찾아보려고 했으나,

    정확한 답을 찾지는 못했다. 

    두루뭉실한 이야기뿐이였다

    이 책을 읽고, 이부분에 대해서 드디어 궁금증이 해소가 되었다.

    양자 컴퓨터가 동작하는 원리를 드디어 이해했다고 해야하나

    (물론 100%는 아니지만, 내가 이해할수있을정도면 됐다 ㅋㅋ)!!

    양자컴퓨터의 동작 방식은 아래와 같다.

    큐비트를 이용하여, 양자의 중첩, 얽힘등을 이용하여, 우리가 구해야하는 답을 모두 어마어마한 속도로 구하게 한다.

    (마치, 빅데이터에서 hadoop을 돌리는 느낌이랄까? 하나의 데이터를 얻기위해 모든 경우의 수를 우선 모두 찾는다)

    해당 구한 답들중에서 우리가 찾아야 하는 답을 찾기위해서, 우리는 검증함수를 이용한다. f(x) = A

    검증함수란 해당 x가 답이라면, 반듯이 성립되야하는 수식(함수)다.

    우리가 원하는 답은 반드시 f(x)검증함수가 true(참)이여야 한다.

    따라서, 양자컴퓨터에서 구한 모든 경우의수를 해당 검증함수 f(x)를 통하여 가장 답에 가까운 답들을 뽑아낸다. 

    양자컴퓨터에서는 측정을 하는순간 오류가 발생하기에, 100% 정답이라는 보장을 할수없기에,

    결국 100%에 가까운 정답들은 다수가 나올수도 있다.

    해당 정답 후보군들은 기존 오답 후보와는 반대로 파동(위상)을 역행시킨다(파동그래프를 거꾸로 만든다)

    그러면, 정답 후보군의 값들은 파동이 다른 틀린 후보들과는 파동이 반대로 되고,

    여기서 간섭을 이용하여, 틀린 후보의 파동을 상쇄한다.

    결국 반대 파동을 보내서, 파동이 상쇄되게 한다.

    이렇게 하면, 정답 후보들은 파동이 더 강하게 되고, 나머지 오답들은 파동이 상쇄되어 약하게 된다.

    중요!!! 여기서 파동을 이용해서 상쇄하는것이라는 의미는, 양자는 관측하기전에는 파동으로 존재하기에, 마치 호숫가에 돌이 던져졌을때, 물파동이 일어나는것과 같다고 생각하면된다. 파동은 결국 그 반대 파동을 이용해서 간섭을 시키면(혼합), 파동이 상쇄된다.

    (마치, 노이즈켄슬링 기능이, 노이즈 주파수와 반대 주파수를 쏴서 주파수를 상쇄시키고 감소시키는 것과 비슷하다고 생각하면 된다)

    이런 과정을 여러번 한다.

    계산 –> 검증 –> 파동 상쇄

    이렇게 하면, 결국 상쇄가 되지않고, 오히려 증폭된, 파동이 가장 센 놈 하나가 남게 되고,

    이때 측정을 하면, 파동이 센놈은 높은 확률로 측정값으로 나타나게 된다.

    여기서 중요한건 높은 확률로 측정이 된다는것이지, 100% 측정이 된다는것은 아니라는점이 매우 중요하다.

    양자역학은 불학실성이 기본이기에 100% 정확한것은 없다고 생각하는게 훨씬 이해하기가 좋다.

    결국 양자컴퓨터는 저 검증함수(f(x))가 있는 문제를 빨리 풀수있고, 계산가능한것이지, 검증할수없는 문제에 대해서는 동작을 할수없는 구조라는것을 이번에 깨달았다. 와!! 지금 생각해도..미쳤다.

    (이때 그래서 이해가 되었다, 양자컴퓨터가 가장 잘 동작하는 곳은 암호학, 길찾기, 경우의수 찾기, 소수찾기등이구나.. 이런 문제는 답을 찾기는 어려워도, 해당 답이 정답이라는 검증은 가능한 문제들이다 – 따라서 양자컴퓨터의 활약이 가능한 분야이다!!!)

    프로그래머로써, 항상 프로그램은 정확하고, 입력값에 대한 출력값은 100% 예상가능하고 정확하다는 생각으로 지냈지만,

    양자역학에서는 이런 100%라는 것이 존재하지 않고 모든것이 확률로만 이야기를 할수있다는점,

    그리고 이런 불확실성을 가장 확실해야하는 컴퓨터에 적용한다는 부분이 정말 아이너니하다고 생각이 든다.

    가장 정확해야하는 분야해서 가장 불확실한 학문으로 풀려고 하는것이 양자컴퓨터다…

    참, 세상은 너무 신기한것 같다.

    닐스 보어 선생님…

    대단하십니다!

  • [아이디어] 테슬라 데이터 수집 – 테슬라가 빌런이다.

    테슬라의 차량 데이터를 API를 통해, 수집을 해야하는데, 테슬라 이놈들 API로 장사를 하네…ㅠ

    오픈API는 일반적으로 사용요금이 저렴한 편인데…

    테슬라 1만대 기준 한달사용하는 API비용이 최악의 경우 4억이 넘어간다.

    (물론, 사용/용도에 따라 다르겠지만, 우리가 만드는 서비스는 대략 계산해보니 저정도 발생하더라… 갑부도 아니고..이거뭐..쩝)

    물론, 최악을 기준으로 계산한것이긴 하지만 , 후덜덜하다.

    테슬라에서 API를 통해,

    내 차량의 데이터(배터리 충전량, 주행가능거리등)를 가져오려면, 기본적으로 테슬라차량이 깨어있어야 한다.

    깨어있다는 이야기는,

    주차를 한 상태면 배터리 사용을 줄이기위해 시스템도 동면에 들어가는데,

    이경우는 차량의 데이터를 API를 통해서 가져올수없게 된다.

    이경우 테슬라API중에 차량을 Walkup시키는 API를 호출하여,

    잠시동안 차량을 깨워서 데이터를 받을수있는 상태로 만들어야하는데,

    이경우 API의 사용료가 비싸다. 건당 16원정도 ….

    (충전중일때는 데이터 조회 가능함)

    테슬라의 연동을 통해 회원들의 차량 데이터를 서비스상에서 지속적으로 수집을 해야하는 서비스를 만들어야하는경우.

    주기적으로 (짧은 주기) wakeup api를 호출해야하고, 차량데이터 조회 API를 호출해야하기에…

    비용이 어마어마하게 나올수있다.

    대충 1만대 기준, 15분간격으로 데이터를 wakeup시켜서 가져오도록 하면, 한달에 4억정도 나온다…(후덜덜하다)

    다행히,

    테슬라에서는 API방식이 아닌, 스트리밍 방식을 제공하는데, 이경우는 훨씬 저렴하게 차량의 데이터를 받아올수있다.

    하지만, 스트리밍 방식은 등록된 회원의 데이터가 콜백(grpc)으로 지속적으로 유입되기에, 해당회원이 탈퇴하거나 연동을 해제하는경우, 스트리밍에서 해당 차량의 데이터를 구독해제되도록 만들어야 한다.

    (불필요한 사용자의 데이터의 구독 콜백 수신을 줄일수있다)

    그래야, 폭주하는 데이터 컨슘을 막을수있다.

    (데이터 구독을 끊지않으면, 지속적으로 구독하는 데이터가 늘어나, 서비스가 죽을수도있다)

    여러가지 방법을 생각해봤지만, 우선 현재는 내가 생각한 가장 합리적인 방법은 아래와 같다.

    1) 앱이 실행되는 시점에 사용자의 구독을 ON한다.

    2) 앱이 종료되거나, 백그라운드로 넘어가는경우 사용자의 구독을 OFF한다.

    이렇게 구현을 하면, 가장 합리적인선에서 데이터의 구독과 해제를 할수있을듯하다.

    앱에서는 카프카큐를 통해 사용자의 앱 접속/종료 여부를 이벤트로 발행하고,

    ((유저아이디와 앱 접속/종료 여부)의 이벤트로 발행함)

    해당 이벤트를 컨슘하여, MurMurHash를 이용하여, 해시맵에 저장한다.

    그리고 5분주기로, 구독/구독해제를 판단하여, 테슬라 스트리밍을 받을지 않받을지를 판단하여 프로세스를 진행한다.

    또는 BloomFilter를 현재 필터와 이전 필터를 유지하며, 사용자의 구독/구독해제여부를 판단하여 프로세스를 진행하는 방법도 가능할듯하다.

    여기서 MurMurHash, BloomFilter등을 거추장스럽게 써야한다고 판단을 했냐면…

    대량의 데이터를 실시간으로 처리대상을 판단할때,

    우리가 사용하는 일반적인 Set자료구조 방식을 사용하면,

    대상이 지속적으로 늘어나는경우, 메모리 사용량 폭주로 서비스가 죽을 가능성이 굉장히 높기때문이다.

    (먼미래가 아닌, 1000tps만 해도 메모리 사용량이 어머어마하게 늘어날것이다.)

    위에 말한 MurMurHash, BloomFilter은 확률에 기반한 자료구조알고리즘이기에, 약간의 오차가 발생하지만,

    그 오차가 서비스에 크게 중요하지 않고 타협이 가능한 수준이라고 한다면,

    메모리 사용량이나, 성능면에서 일반 Set구조 방식과는 비교할수없을정도로 뛰어나기 때문이다.

    (100배, 1000배 ~ 메모리 더적게 먹음)

    가장 중요한건, 사용자의 앱접속에 대한 시그널을 어떻게 받아야하는지에 대한 고민이 컸는데,

    이부분은 앱의 시작과 종료/또는 백그라운드여부에 따른 시그널을 앱에서 받도록 하는 방법을 사용하는것이 모든 측면에서 장점이라고 생각이 들어서, 이 방법으로 설계를 해봐야 겠다.

    대용량 트래픽에 대한 수집/수신처리에서는 최대한 구독하는 프로세스에서는 외부 인프라의 조회/사용을 최대한 줄이는 방법을 사용해야한다. 대표적인 예로 위의 Set기반 인프라중에 가장 쉽게 사용가능한것이 REDIS가 떠오르지만, REDIS가 대량의 트래픽을 견디도록 하는것이 상당히 어렵고 비용이 많이 발생하는 것이기에, 최대한, 인스턴스 내부에서 (자료구조와 알고리즘, 샤딩) 외부 인프라에 의존하지않고 프로세스를 만드는 방법을 고민해야한다.

    우선 위에 기능도 레디스는 사용하지 않도록 고민을 할예정이다.

    레디스에서의 장점인, 공유 기능은 샤딩을 통해 해결을 해야할것같다..

  • [개발생각] REDIS vs RDB 안전성에 대해서..

    참, 막연한 두려움인것일까?, 고정관념인 것일까? REDIS는 뭔가 불안전하고, RDB는 안전하다고 느끼는 것..

    서비스를 만들때, RDB 대신, 성능을 위해서 REDIS에 값을 넣고 조회하는 방법을 많이 사용한다.

    그런데, 이때 꼭 불안한 마음이 들긴한다..

    REDIS 죽으면 어떻하지??

    RDB에도 저장을 해둬야하나?

    write-back이라고 하는데,

    캐시에 먼저 저장해두고, 적절하게 후에 rdb등에 백업해서 저장해두는 방법도 많이 쓴다.

    엄밀히 말하면, RDB가 REDIS보다 더 안전한것인가?라는 의문이 들긴한다.

    RDB도 복제타이밍이나, 커밋/설정등에 따라 유실이 될수가 있다.

    완벽하게 완전무결한 솔류션은 아니다.

    다만 복제디비를 유지할수있어서, 문제가 있을때,

    바로 슬레이브 디비가 구동될수있다 정도랄까?! 

    (스케일아웃측면에서는 오히려 확장기능은 더 떨어지는 것같고 ;;)

    REDIS도 클러스터링을 지원하기때문에,

    레플리카 설정을 통하면 노드가 죽는경우의 리스크를 많이 없앨수있다.

    또한 설령 노드가 죽었다 하더라도,

    RDB, AOF를 통해, 복구가 가능하다.

    다만, AOF는 현재까지 실행된 명령어를 직접 하나하나씩 실행해서 복구하는 방법이기때문에 복구시간이 오래걸린다는 문제가 있고,

    RDB는 주기적으로 스냅샷을 떠놓는 방법이기에, 복구가 빠르지만, 스냅샷을 떠놓기전의 데이터는 유실될수있다는 문제가 있다.

    하지만, 예전 REDIS 버전에서나 RDB, AOF분리해서 사용했지,

    요즘 버전 7,8+ 등에서는 내부적으로 RDB, AOF를 사실 혼합사용하는 방법으로 동작한다.

    AOF가 내부적으로 RDB스냅샷을 만들고, 스냅샷만드는 간극에는 증분 AOF파일을 통해 보정하면서 복구를 한다.

    그럼, 여기서 의문점이 든다.

    그럼 REDIS만 사용해도 충분히 안전하지 않나?

    꼭 RDB에 저장을 해야하는것에 집착을 하지 않아도 되지 않을까?

    만났던 많은 개발자들도, 뭔가 관성인지, 편견인지는 모르지만

    데이터는 RDB에 저장되어있어야 안전하다고 느끼는 개발자들이 상당히 많다.

    (성능측면이 아니라면, 물론 나도 그런것 같다 ㅋ)

    그 이유중에 하나가, 조회하면, 보이는 가시성 때문이 아닐까?

    쿼리를 통해 데이터가 직접적으로 눈으로 보이기에 더 안전하다고 보는게 아닐까? 생각해본다.

    인간이란 눈에 보이는것을 더 믿게 되는 습성이 있는것같다.

    눈으로 보이고, 데이터를 실제 내가 조회하고 조작할수있다는 안도감에서 더욱 RDB가 더 안전하다고 느끼는것같다.

    (물론, REDIS도 조회가 가능하지만, 뭔가 종합적으로 데이터를 바라볼수있는 형태로는 부족하니..)

    정답은 없지만, 해당 솔류션이 다른 솔류션의 안정성을 충족하고, 성능상으로도 더 뛰어나다면, 

    믿고 쓰는 판단도 좋은 판단같다.

    (그래서, REDIS만 사용하는 케이스를 이번에 만들려고 한다… 물론 메모리 계산은 꼭 해야한다.)

    REDIS의 메모리 최대 사용 기간은 계산을 해야하고, 문제가 있다면, 노드를 충분하게 늘리거나, write-back을 구현해야한다.

  • [아이디어] javafx로 OsTray영역에 텍스트 넣기

    한창 주식에 관심이 있을때가 있었는데, 앱으로 주식시세를 보는게 너무 귀찮았다.

    직업 특성상, 하루에 대부분을 컴퓨터를 사용하기에,

    데스크탑의 Tray영역에 주식시세를 표시하는 데스크탑 어플리케이션을 하나 만들어봐야겠다고 하고 만든적이있다.

    (*Tray영역 : 화면 오른쪽 상단의 영역 – 상주하는 앱아이콘이 표시되는 부분 – 맥OS)

    맥북에 맨상위 오른쪽에 Tray영역에 아예 주식시세를 상주하여 보여주는 어플리케이션을 만드는게 목표였다.

    그런데, Swift를 이용해서 만들면 쉽긴했는데, 맥용 어플을 만드는게 여간 까다로운게 아니였다.

    xcode를 통해 프로젝트 하나 만들려면 은근히 귀찮은점들이 많다.

    (솔직히는 Swift로 작성하는게 서툴고, 속도가 안나서 라고 해야 더 맞다 ㅋ)

    그래서 가장 무난한, 자바,코틀린으로 만들수있는 JAVAFX를 이용해서 만들기로 했다.

    그런데, 충격적인 사실…

    JavaFx에서는 Tray영역에 텍스트로 표시하는 기능이 없고, 그냥 아이콘만 표시하는 기능밖에 없었다…

    (Swift는 기능이 존재한다. 심지어 자체 함수로 제공한다 ㅎㄷㄷ)

    아, Swift로 만들어야 하나…하며 아이디어를 생각해봤다.

    여기서 번뜩 떠오르는 아이디어가 있었다.

    아이콘만 표현이 된다면, 아이콘 이미지파일에 텍스트를 써서 이미지로 만들자!!

    아이콘에 글자를 쓰고, 이미지를 만들고 해당 이미지를 아이콘으로 보여주는 방식이다.

    될까? 반신반의 하면서, bitmap이미지에 drawText함수를 이용해서 주식 시세를 그려서 저장하고

    해당 이미지데이터를 아이콘으로 보여주게 했다..

    대박…너무 잘되었다…

    그때, 이 방법으로 JavaFx를 이용하여 Tray영역에 텍스트를 표시하도록 기능을 만들어서 어플리케이션을 만든적이 있다.

    개발자에게 중요한건… 문제 해결능력이라고 생각한다.

    이런 불가능한 부분을 아이디어를 내서 해결을 하는경우, 정말 희열을 느낀다. (스트라이커가 골넣을때 기분!!)

    해당 어플리케이션은 다니던 회사에 소스코드와 함께, 공유를했고, 해당 아이디어 또한 공유를 했었다.

    그런데..공유후 반응을 보고 좀 실망을 했다.

    “아 그거 나도 생각했는데!, 아 그건 금방 생각하지 않나?”라고 다른사람이 생각해낸 아이디어에 대해서,

    가치절하하거나, 나도 그거 생각했는데… 귀찮아서 구현은 안했어라는 식의 반응들이 꽤 있었다.

    내가 생각하지 못한 아이디어를 다른사람이 생각하고 공유를 한다면,

    칭찬해주고, 그 생각의 의도와 과정을 높이 존중해 주자.

    개발을 할때도 가끔 보인다.

    정말 별것 아닌것이라고 생각되고, 본인도 아는 기술,코드처럼 보인다고 해도,

    그것을 적시 적소에 사용하고 적용하는 판단은 아무나 쉽게 하지못한다.

    (이 세상에서 체스 챔피언은 체스 훈수꾼!!!, 옆에서 보는 사람이 제일 잘한다!)

  • [개발생각] 온라인 사용자에게만 통계가 필요한 경우

    가입유저가 많은 서비스에서 홈화면에 접속한 유저에 대한 어떤 데이터를 보여줘야하는 경우에 어떻게 시스템을 설계할수 있을까?

    가장 쉬운방법은,

    배치프로세스를 만들고, 해당 배치에서 가입유저대상으로 데이터를 일정주기로 수집하여, 미리 데이터를 데이터베이스에 만들어둔다.

    그리고, 사용하는 시점에는 데이터베이스의 단순 조회를 통해 서비스되도록 설계하는 방법이다.

    하지만, 

    만약 수집데이터를 수집하기위해 외부API를 호출해야하고, 해당 외부API의 호출량이 정해져있는 (유료,TPS) API라면,

    이야기가 좀 달라진다.

    (*자체 데이터를 통해 통계데이터를 만드는경우라면, 이야기는 좀틀리다,

    빅데이터 플랫폼(스파크,하둡등)을 통해 얼마든지 다른 해결책이 있다) 

    홈화면에 접속한 유저에게만 보여줘야하는 데이터를 위해,

    가입유저 전체대상으로 배치잡을 구동하게 되면,

    접속하지 않는 유저에 대해서도 API호출을 하여, 데이터를 수집해야하기때문에 비효율적인 설계가 된다.

    (만약 가입유저가 100만명인데, 홈에 들어오는 평균유저가 1만명이면…1만명을 위해서 100만명분의 배치를 돌려야한다)

    아마 조금 시간이 지나면, API 호출 리미트제한에 걸려서, 배치가 멈추는 일도 발생할것이다.

    다른 해결 방법으로는,

    홈화면에 접속하면 그때 API를 호출하여 데이터를 보여주고, 캐시를 통해 호출량을 줄이는 방법이 있다.

    좋은 해결 방법중에 하나일수있지만,

    리스크가 아예 없는것은 아니다.

    문제점은 아래와 같다.

    1) 캐시를 적용한다고 해도, 사용자 접속이 폭주하는 경우, API호출을 적절히 제어하거나, API의 장애를 대응하기가 어렵다.

    – 물론 위 문제를 해결하기 위한 여러방법이 있긴하다. 서킷브레이커를 적용하거나, 대기열기능을 적용하면 해결을 할수있겠다.

    2) 수집 데이터의 수집역할이 모호해진다. (중요!!!)

    – 사실 이부분이 문제점이 가장크다.

       기능적으로는 문제가 없다고 하도라도, 서비스의 설계측면에서 보면, 안좋은 설계로 서비스가 만들어질수있다.

    수집데이터는 수집을 위한 레이어에서 수집 프로세스를 통해 일관되게 동작하도록 설계되어야 유지/보수/설계흐름등의 관점에서 좋다.

    하지만, 위 방법을 사용하게 되면, 결국 서비스 레이어에서 직접 수집을 하게 되는 형태가 된다.

    서비스 레이어가 멈추거나, 문제가 있으면 수집 또한 영향을 받고, 멈추는것이다.

    이런 설계는 좋은 설계가 아니라고 생각이 된다.

    그럼, 이런 문제를 해결하기 위한 설계는 어떻게 해야할까?

    우선 서비스레이어에서의 수집(API호출)을 제거해야하고, 해당 수집을 배치레이어로 옮기는 방법을 사용해야하는데, 

    이경우 가장 값싼방법은 이벤트를 이용하는 방법이다.

    서비스레이어에서는 이벤트를 배치레이어로 발생을 하고,

    해당 이벤트를 받은 배치가 해당 유저의 데이터를 수집(API호출등)을 진행하는 방법을 사용한다.

    중요한점은 서비스레이어에서 아무런 안전장치를 만들어두지않는다면, 같은 유저의 이벤트가 짧은 시간에 중복발생되고,

    유저의 데이터 수집이 중복으로 동작할수있는 케이스를 해결해야한다는 점이다.

    이런 문제를 해결하기 위한 해결책은 몇가지 있다.

    1) 배치레이어에서 배치주기를 같는 불름필터를 통해, 배치주기안에 중복된 요청이 들어왔는지를 필터링해서 수집하는 방법이 있다.

    – 불름필터 (FALSE : 데이터가 없다 – 이것만 100% 사실) 를 통해, 대상이 아니라고 판단되는 경우만,

       수집을 하도록하면, 중복 수집을 막을수있다.

    2) 실시간 CEP솔류션 (ESPER등)을 사용하는 방법이 있다.

    – CEP를 통해 배치주기에 중복으로 요청이 들어온 이벤트를 DISTINCT하여 유니크한 대상으로, 수집을 하는 방법이다.

    그외에도 여러 방법은 존재한다.

    여기서 중요한점은, 배치주기안에 같은 이벤트가 들어오는 경우 해당 이벤트들은 한번만 수집이 되도록 하는것이다!

    *중요!!!

    기능에 대한 방법이나 문제에 대한 해결책을 생각할때, 서비스의 설계 레이어를 생각하지 않는 경우가 많다.

    레이어를 생각하지 않으면, 코드에서의 경계가 관리되지않아, 도메인,인프라영역이 서로 침범하게 되듯이,

    설계단의 레이어들도 서로가 역할을 나눠하게 되고, 침범하게 되고, 실타래처럼 꼬이게 된다.

    서비스 설계 레이어도 항상 생각을 하도록 하자…

  • [아이디어] 복잡한 로직은 GraalVM JavaScript엔진을..

    전기요금을 계산하는 프로그램을 개발해야 했다.

    전기요금 계산이 이거 이래도 되나 할정도로 복잡하고, 지역, 계절, 년도등의 변수가 많고, 계산 또한 변수가 너무 많았다.

    이런경우 이런 계산 로직을 코드로 작성을 하는것보다, 변수에 빠르게 적응을 하기 위해서,

    다이나믹한 기법을 사용하는게 더 좋을것 같다는 생각을 했다.

    rule엔진을 사용하는게 좋아보이지만 (drools등), 단순 계산을 위해 rule엔진을 사용하는건 오버엔지니어링이라고 판단을 했다.

    그리고, rule엔진이 사실, 사용하는게 상당히 번잡하고 복잡하다…

    먼가 간단하면서, 다이나믹하게 계산식을 적용하고, 반영되게 하는 방법을 원했다.

    고민중에 예전에 mocksal이라고 개인 mocking 서비스를 만들때 (https://tech.super100.app/35)

    사용한 방법인 javascript엔진을 이용하면,

    위의 요건을 충족할것같다는 생각이 들었다.

    더불어, 스크립트 정도는 쉬운언어이기도해서, 계산식을 비개발자(기획)들이 관리할수도 있는 이점도 더불어 있다고 생각했다.

    간단하게 설명하면,

    한달 전기 사용량, 전기 누전단계 정보, 가격표를 상수로 js에 바운딩하여 js엔진에서 사용할수있도록 한다.

    import org.graalvm.polyglot.Context
    
    fun main() {
        val context = Context.create()
    
        val bindings = context.getBindings("js")
        bindings.putMember("한달_전기_사용량", XXXXXX)
        bindings.putMember("전기_누전단계_정보", XXXXXX)
        bindings.putMember("가격표", XXXXXX)
      
        val result = context.eval("js", "
        한달_전기_사용량 * 전기_누전단계_정보;
         //여기 js로 계산식을 적는다.
        ")
        println(result.asInt()) //전기요금값
    }

    위와 같이 js로 전기요금계산식을 만들어 사용하고, 해당 js를 db에 관리하고 어드민에서 수정할수있도록하면, 

    전기요금계산식이 변화하거나, 어떤 예외가 발생했을때, 계산식을 변경만 해주면, 바로 대응이 가능하도록 만들수있다.

    코드로 작성하는것보다, 스크립트코드를 관리하고 해당 스크립트코드를 사용하여, 결과를 얻는 방법을 사용하면,

    좀더 비개발자도 수정이 가능할수있는 시스템이 되지않을까 한다.

    성능의 의심이 예전 나스혼 엔진(구 js엔진)에서는 상당히 거시기 했는데….

    다행히 , GraalVM JavaScript엔진은 상당한부분 성능이 개선되었다.

    부담없이 사용가능하다고 판단된다.

    다만, 주의해야할부분은 Js엔진에서 사용하는 Context객체는 ThreadSafe하지 않다는것이다.

    Context를 매번 create()해서 사용하는건 성능상 좋지않기에,

    Context를 pool로 여러개 만들고,

    사용하고 반환하는식 (db pool과 유사)으로 사용해야 ThreadSafe하다는것은 꼭 기억해야한다 !!!

    (멀티 스레드에서는 항상..ThreadSafe가 골치아프다..ㅠ)

  • [개발생각] 캐시 스탬피드

    캐시 스탬피드를 실무에서 겪었던때는 다음 티스토리팀에 다닐때, 처음으로 겪어봤다. 그때는 이게 왜이러지 하고 그냥 넘겼었는데…

    지금 생각하니 참 무지했다. ㅠ 

    캐시를 사용할때, 캐시가 있으면, 캐시된값을 전달하고, 캐시가 없으면, 디비등에서 조회하여 캐시를 만들고,

    해당값을 전달하는 방식으로 코딩을 자주 한다.

    여기서 중요한점은,  동시성이 중요한 시스템에서는 (대량 트래픽 서비스),

    캐시가 없는 시점에 디비를 조회하는 행위를 여러 요청이 동시에 할수가 있다는 점이다.

    캐시가 없는 시점에 캐시를 만드는 경우, 락을 걸지않는 이상,

    캐시를 만드는 행위를 동시에 여러 요청들이 수행하게 된다.

    여기서 중복 조회 이슈가 발생하게 된다.

    엄밀히 보면, 하나의 요청만 디비를 조회하고, 캐시를 만들면 되는 건데, 동시에 같은 행위를 여러번 하는 꼴이라,

    잘못하면, 디비나 캐시시스템에 무리가 갈수있는 위험한 상태가 된다.

    이런 경우와 같이,

    캐시를 만들기 위한 중복 요청이 마치 물소떼(스탬피드)와 같이 동시에 몰려온다는 뜻에서 

    캐시 스탬피드 문제라고 한다…

    이걸 해결하기위해서는 캐시가 없어서, 디비를 조회하는 시점에 락을 걸어 하나의 요청만 디비를 조회하여 캐시를 만들도록 하면 된다.

    하지만, 락을 걸면,

    결국 나머지 요청들은 대기를 하거나, 예외를 발생하도록 만들어야 하기때문에,

    사용자 경험이나, 시스템적으로도 좋은 설계는 아니게 된다.

    (스레드 블럭, 또는 스핀락으로인한 cpu로드 올라감.)

    이런경우 사용하는 가장좋은 방법중에 하나가, 캐시 만료시간을  실제 만료시간 + 랜덤 시간(0~20초)으로 설정하는 방법이 있다.

    실제 만료시간에 랜던시간을 설정하여 모두 같은 시간에 캐시를 갱신하는 동시성을 줄이고,

    최대한 겹치는 경우의 수를 줄이기 위한 방법이다. 

    이러면 동시성이 랜던시간의 갭만큼으로 확률적으로 요청이 분산되기 때문에 동시성의 문제를 해결할수있다.

    좀더 하드코어버전은 저 랜덤시간을 히스토그램을 통해,

    실제 만료가 많이 일어나는 시간을 피하여 설정하도록 통계학적 알고리즘을 사용하여 시간을 더하는 방식도 있지만,

    이렇게 까지 할 필요는 개인적으로는 없을듯하다. (배보다 배꼽이 클수있다 ㅋ)

    +a의 랜덤시간을 캐시 만료시간에 더하도록하여, 동시성을 줄이는 방법만 사용하여도 충분히 캐시 스탬피드 문제는 해결할수있다.

    온디멘드로 캐시를 만들고 사용하는 방법을 사용하는 경우, 캐시 스탬피드 문제에 대해서 한번은 꼭 생각해 보아야하고,

    경우에 따라서는, 배치를 통해 미리 캐시를 하나의 프로세스에서 만들고,

    그것을 사용만 하는 설계로 만드는게 더 좋은경우도 있다는것을 알아야 한다.

    참고로, 레디스 같은 시스템을 사용하는경우, 로컬캐시를 같이 사용하면, 성능상으로 좀더 이점을 가져올수있다. (네트워크 비용 절감)

    로컬캐시 없음 —> 레디스 조회 —> 레디스 없음 —> 디비 조회 —> 로컬캐시 생성 —> 레디스 캐시 생성

  • [개발생각] 리더의 역할이란..

    이 부분은 정말 내가 고민했던 것중에 손에 꼽으라면 꼽을수있는 주제라고 생각한다..

    ‘리더의 역할’은 바늘이 있는 장갑으로 고무풍선을 옮기는 것과 같다고 생각한다..

    너무 세게도 너무 약하게도 하지않아야하는 섬세함의 극치를 보여주어야 하는 역할이라고 할까?!

    고무풍선은 팀원들일것이고, 바늘이 붙어있는 장갑은 ‘리더’의 말, 행동, 태도에 따른 피드백이 될것이다.

    조금만 세게 피드백을 주어도, 팀원은 당황하고, 상처받고,  원망할수있고,

    조금만 약하게 피드백을 주면, 팀원은 무책임해지고, 불성실하고, 나태해 질수있다.

    적절하게 힘을 주어야한다는것인다. 

    세상에서 가장 힘든것이 적절하게, 알아서 잘 -> 이런말이 아닐까?한다..

    그럼, 여기서 생각해봐야할것이있다.

    적절하게가 되지 않은다고 가정할때, 과연 센피드백, 약한피드백중 어떤것이 더 나은 선택일까??

    (물론, 너무 극단적이긴하지만, 둘중에 하나를 선택하라고 한다면, 어떤 기준으로 선택을 해야할까라는 재미진 생각..)

    나는 센 피드백을 선택하겠다.

    센 피드백은 잘하는 팀원에게는 원만큼 하지 않을테니 🙂

    그리고 못하는 팀원에게는 채찍질이 될수있으니…

    상처받고, 원망하는 사람이라면, 어떤식으로든 삐뚤어지지 않을까?!

  • [아이디어] Switch문 최대한 안쓰기

    스프링에서 타입에 따라 다른 행위나 결과값을 리턴해야할 경우, Switch (코틀린은 When)를 사용하여 코딩을 한다…

    아래와 같은 코드가 있다고 해볼까?

    
    @Service
    class TestService {
    
    fun printCardType(cardType:CardType) {
            when (cardType) {
                CardType.A -> println("A")
                CardType.B -> println("B")
                else -> println("UNKNOWN")
            }
        }
    }

    타입이 추가되면, 해당 TestService의 printCardType함수안에 when에 케이스 조건을 지속적으로 추가를 해줘야한다.

    잊어버리고 추가를 하지않는 경우, when의 else로 빠지게 되어서, 전혀 다른 동작을 하게된다.

    이걸 막기위해서, Sealed class등을 사용하기도 하지만, 결국 지속적으로 when에 추가를 해주는것은 똑같긴하다.

    (다만, 컴파일단에서  추가안된 경우를 미리 잡아준다는점이 다르긴하다)

    이런경우, interface를 사용하면 좀더 깔끔하게 구현이 가능하다. (팩토리패턴)

    interface CardTypeHandler {
        fun supportType():CardType
        fun printCardType()
    }
    
    @Component
    class CardATypeHandler: CardTypeHandler {
        override fun supportType() = CardType.A
        override fun printCardType() = println("A")
    }
    
    @Component
    class CardBTypeHandler: CardTypeHandler {
        override fun supportType() = CardType.B
        override fun printCardType() = println("B")
    }
    
    @Service
    class TestService(cardTypeHandlers:List<CardTypeHandler>) {
    
        val cardTypeHandlersMap = cardTypeHandlers.associateBy { it.supportType() }
    
        fun printCardType(cardType:CardType) = cardTypeHandlersMap[cardType]
    }

    조금 코드량이 늘어났지만, 유지보수하는데 훨씬 강력하다. 

    CardTypeHandler 인터페이스를 구현하는 구현체를 만들기만하면, 별도로,

    when등으로 구현된 케이스에 대한 조건을 추가하지 않아도, 동작하게 만들수있다.

    이렇게 구현해놓으면,

    구현체만 만들면, TestService에서 printCardType에서 추가된 구현체로 동작을 하게 할수있다.

    깔끔하게 위와같이 만들수있는 것은 스프링에서 빈을 주입받을때, 같은 인터페이스를 구현한 Bean의 List를 주입받을수있기에 가능하다.

    이와 비슷하게 동작하는 대표적인 예가, 스프링 시큐리티 필터, 인터셉터등일것이다.

    해당 필터나 인터셉터들도 위와같이 구현되어, 체이닝을 하고, 우선순위로 동작하기 쉽고, 구현체 추가만을통해, 동작하게 만든 대표적인 예이다.

    위 패턴은 특히 이벤트리스너를 체이닝하여 동작하게 만들때, 정말 유용하다!!

    항상 코드가 짧고, 단순하다고 좋은 코드가 아닐수도있다. (물론 대부분은 좋은 코드지 🙂 )

    하지만, 위와같이, 코드가 다소 길어지더라도,

    향후에 다른 개발자가 개발을 하더라도 구현체를 구현하고 어딘가에 별도로 케이스를 추가해야 동작하는 코드보다, 

    (가장 최악, 코드의 백그라운드를 알아야하는것!!)

    위와 같은 코드가  더 좋은 코드가 될수있다는 점은 명심하자!!

    개발에서 심플이즈베스트 명언이 있지만, 경우에 따라서는 아닌경우도 있다는점…..ㅋ