[작성자:] kun7788

  • [자작] 암화화폐 거래소 – Silverstring

    암호화페 거래소 개발은 정말 어려운 개발이다.

    GIT : https://github.com/coinext/silverstring-exchange

    암호화페 특히 비트코인, 이더리움에 대해서 정말 많은 관심이 있었을때가 있다.

    특히 이더리움의 오픈소스를 하나하나 분석하며 본적이 있는데, 이더리움은 코드에서도 진정성이 느껴졌다.

    다른 알트코인들의 돈벌려고 혈안이 되는 듯한 느낌을 이더리움의 오픈소스 코드에서 볼수없었다.

    하나하나 문제들에 대해서,

    개념을 정리하고 해결책을 코드로 구성한 부분, 고민한 부분이 그대로 코드에 녹아있었다.

    비트코인, 이더리움의 블록체인을 이해한 시점에서 암호화페 거래소 한번 토이 프로젝트로 만들어볼까? 하는 생각이 들었고,

    이내 실행에 옮겼다.

    거래소 이름은 SilverString (은실), 와이프에 대한 사랑의 표현이라고 할까? ㅋㅋ…

    가장 어려웠던부분은 블록체인을 읽고, 입금,출금을 처리하는 로직이였다.

    특히 이더리움에서 erc20의 스마트컨트랙트로 작성된 토큰들의 입출금은 트랜잭션 데이터를 이해를 해야 만들수있었기 때문에,

    많은 시간이 들었다.

    또하나 어려웠던 부분은 거래체결 로직이였다.

    이부분은 git에 올라가 있는 코드로는 대용량의 처리가 되지않는다.

    개발하고 나서, 고민을 좀더 하는 시간을 가졌고,

    얼마의 시간이 흐른후,

    거래체결의 로직을 문제를 해결할수있었다.

    (정말 이부분에 대해서, 고민을 많이 했던것 같다.. 토이프로젝트에서 이렇게 고민한것도 오랜만이다!!)

    거래체결을 순수하게 디비의 락을 이용해서 처리를 했는데,

    동시성 문제로 인해, 대량처리가 불가한 부분이 있었다.

    동시성을 디비에 의존했기 때문의 결과이다.

    이부분은 레디스 + 레디스 그루비 스크립트(트랜잭션)을 이용하는 방법으로 개발하였고,

    디비 처리도, 건건의 거래를 처리하게되면, 같은 유저의 같은 지갑에 업데이트를 동시에 해야하는 케이스가 늘어나기 때문에,

    최대한 유저단위의 거래를 묶어서 한번에 처리하도록 하는 알고리즘으로 해결할수있었다.

    마치,

    게임에서 프레임에 따른 드로잉을 update함수에서 시간 간격으로 한번에 그리듯(드로잉콜),

    거래체결 또한 짧은 시간의 마이크로배치와 같이 동작하게 만들고,

    그 배치에서 처리할 거래들을 최대한 유저/코인 단위로 그루핑을 하여 한번에 처리하고,

    디비에는 업데이트를 최소화하는 방법을 사용하였다.

    또한 레디스에서 처리를 메인작업으로 우선시하고, 디비는 레디스의 결과를 after write방식이라고 하나??..

    비동기적으로 동기화하는 방법을 사용하여 퍼포먼스를 극복하고, 데이터의 정합성을 맞추었다.

    이런부분은 하이버네이트 2차캐시로 훨씬 심리스하게 동작하게 설정하여 사용할수있었다.

    (직접 구현하면, 너무 복잡해져…)

    그리고 KYC와 계정에 대한 처리 (비밀번호 찾기, 아이디 찾기, 비밀번호 변경)는 어렵지는 않았지만,

    너무 귀찮은 개발이였다.

    이부분은 SNS로그인을 활용하고, KYC는 텔레그램 passport를 활용하면 좀더 나을듯하다.

    그리고 거래체결에 따른 시장가의 계산은, esper를 이용하였다.

    1분단위 체결가를 이벤트로 esper로 pub하여 넘기고,

    esper에서는 해당 이벤트를 sub하여, 1분단위 평균가를 계산하여 콜백하도록 만들었고,

    해당 데이터를 데이터베이스에 저장하고, 그 데이터를 화면에 출력하도록 하여, 거래 체결가를 보여줄수있게 했다.

    (아..esper없었으면, 정말 슬라이딩 윈도우에 따른 평균값 구하는것…개발..끔찍하다..ㅠ)

    암호화폐 거래소를 직접 만들어보니,

    거래소의 기술은 대용량, 실시간 처리의 끝판왕 개발 같다.

    모든 기능을 실시간, 대용량 처리의 관점에서 생각을 하여야 안정적인 거래소를 만들수있기 때문이다.

    (안그러면…거래소 바로 트래픽으로 마비..)

    개인적으로 실력이 한단계 올라갈수있었던, 질좋은 토이 프로젝트 경험이었다고 생각한다.

    개인적으로 깃헙에 오픈소스로 올린 프로젝트중에, star 93개, fork 87개 !!!! 가장 반응이 뜨거웠다, 좋았다.

  • [자작] 맛집추천 – 판교맛집

    직장인들은 점심때 뭐먹을지가 상당한 고민거리다.

    데모 :  https://matzip.super100.app/

    맛집 추천하는 웹페이지나 앱이 있으면 좋겠다고 생각을 했지만, 이미 많은 앱들이 존재하는것을 알았기에,

    간단하게 지역기반으로 만들어보자는 생각을 했다.

    (컬리,당근도 지역에서 조그만하게 시작했다고 하던데..)

    데이터베이스도 사용하지말고, 구글Sheet api를 활용했다.

    맛집을 등록하기위해서는 어드민 페이지등이 필요한데,

    그렇게까지 스펙을 늘리고 싶지는 않아서,

    구글 Sheet에 저장하면, 프론트는 해당 내용을 바탕으로 화면에 맛집리스트를 출력해주게 구성을 하였다.

    영상도 유투브 영상을 출력해주게 하여, 유투브에 올리고, 해당 링크를 구글 Sheet에 저장하면,

    판교맛집 서비스에 반영하는 간단한 플로우를 채택하였다.

    웹서버도 없이 하려고, 

    vuejs을 minify 빌드하여 얻은 css, js파일을 티스토리에 업로드하여 스킨편집을 통해 티스토리에 서비스를 얹히는 방법을 사용하였다.

    서버API없이 프론트 코드로만 동작하도록 만들었기때문에 가능했다! (아…잔머리..어쩔..)

    그리고 티스토리에서는 도메인 주소연결을 지원하기에, 도메인을 하나사서 연결을 했다. (완벽하다!!)

    (하지만, 현재는 그냥 개인 웹서버에 띄웠다 – 이유 : 배포가 너무 귀찮음..)

    이 토이 프로젝트에서 얻는것중 가장 큰 수확은 아이콘같다.

    오뚜기 아이콘을 각색했지만, 점심메뉴라는 주제와 잘 부합하는것 같아, 뿌듯하다. (저작권 있으려나…ㅎㄷㄷ)

    좀더 아이콘은 손봐야할것같다. 오뚜기 아이콘을 너무 차용했기에 저작권문제가 있을것같다.

    저 입맛 다시는 사람을 ‘중년 IT개발자로 표현하는걸 생각중이다’

    (체크무니 남방, 안경도 표현되면 완벽하다!)

    구글 Sheet을 활용하면,

    굳이 데이터베이스를 통해 데이터를 저장하지않아도 데이터를 Sheet를 통해 저장하고 조회할수있다.

    간단한 설정이나, 메타 데이터등 저장에는 활용을 하는것도 좋은것같다.

  • [자작] 경제지표 제공 서비스 – 모두의리치

    경제지표 100개를 모아보자

    데모 : https://finance-web.super100.app/market

    가끔 재테크관련해서 주식,코인,종토방등 여러 앱이나 사이트를 들러보곤 하는데,

    한눈에 이런 경제 정보를 얻었으면 좋겠다고 생각이 들어서,

    경제지표 통합앱을 한번 만들어봤으면 좋겠다고 생각해서 만들어봤다.

    특히, 환율, 주식, 고용, 금리등을 한번에 확인이 가능해서 편리한것 같다.

    금리나 환률등의 기간에 대한 지표들은 d3.js 라이브러리를 통해, 그래프로 보여주도록 만들어서, 더욱 한눈에 볼수있어서 좋다.

    [모두의 리치리치]

    이 모든 지표를 API로 만들었고, 해당 API를 활용하는 방법도 생각해봤다.

    우선 만들다 잠시 중단한것이긴한데, 맥용 트레이바를 만드는 중이다.

    맥용 트레이바앱은 맥의 상단의 네이게이션바 영역에,

    주식,코인,환률등을 표시해주는 앱이다.

    사이트나 앱에 들어가지 않고도, 네이게이션바 영역에 시세를 확인할수있어서, 편리하다.

    좀더 나아가서는 주식,코인 API연동등을 통해, 실제 거래도 가능하게 만들 예정이긴하다.

    (언제 다시 개발을 재개할지는 미지수..ㅎㅎ)

    모두의 리치 서비스에서는 코틀린의 코루틴을 적극 활용해서, 성능을 높였다.

    코루틴은 참 쓰기 편하고, 코드의 흐름도 파악하기 쉬워서 좋은것같다.

    몇몇 주의할점들만 잘 챙기면, 정말 좋은 기능으로 활용을 많이 할것같다.

  • [자작] 블록체인 모니터링 서비스 – Crypto-Sherlock

    한때 블록체인 기술에 엄청나게 심취한적이 있다.

    데모 : https://cryptosherlock.super100.app/

    P2P 컨세서스 협의 알고리즘이나, 스마트컨트랙트, 제로날리지등 생소한 기술들을 하나하나씩 알아가는게 희열이 느껴졌다.

    지금의 AI기술을 사용하는 느낌이랄까..

    특히, 흥미롭게 다가왔던점은, 신뢰할수없는 환경에서 신뢰를 만들어가는 기술이라 더욱 빠져들었다.

    (마치 무에서 유를 창조하는 기술로도 느껴졌기에)

    블록체인쪽은 한동안 깊게 팠어서, 정말 우리나라에서는 나만큼 많이 아는 사람도 없을껄? 이라는 생각도 가진적 있긴 했는데…

    이제는 AI로 메타가 넘어갔으니.. 아쉽긴하다. (세월이 야속하구나…)

    암튼, 블록체인에 엄청 심취하던 시기에 문득, 아이디어가 생각나서, 블록체인 모니터링 서비스를 만들었다.

    이름하여 “크립토 셜록홈즈” 🙂

    서비스의 목적은,

    특정 지갑의 입출금을 모니터링하고, 해당 입출금이 발생했을때, 텔레그램으로 알림을 받을수있는 서비스이다.

    비트코인, 이더리움등 암호화페에서는, 소위 고래라는 많은 코인을 가지고 있는 사람들의 행위(입금/출금)가 상당한 가격 변동의 지표로 사용하고 있기에.. 고래들의 암호화화폐의 지갑을 종종 사람들은 수시로 확인하며 입출금내역을 모니터링하곤 한다.

    이런 모니터링을 서비스로 만들면 어떨까? 라는 아이디어에서 해당 서비스를 만들게 되었다.

    단순한 화면이라고 생각할수있지만,

    해당 블록체인에서 특정 주소의 입금출금 트랜잭션을 추적하는건,

    블록체인 구조를 굉장히 잘 파악하고 이해하고 있어야 가능한 개발이라고 생각한다.

    일주일정도의 밤샘작업으로 만들었던 기억이 있다.

    개발중에 특히 어려웠던부분은 블록체인은 하나의 스트림과 갔다.

    시간이 지남에 따라 새로운 블록데이터를 지속적으로 만들고 기다려주지않는다.

    이런 블록데이터를 지속적으로 따라가며, 데이터를 해석하고 그 트랜잭션안에서 입금,출금 데이터를 뽑아내는 작업이 난이도가 높았다.

    그리고 그 블록데이터를 지속적으로 따라가지 못하는 상황..갑자기 서버가 내려가거나, 서비스에 문제가 있어서 멈추었을때,

    분석하지못한 블록들을 빠르게 따라가며 분석을 해야하는 부분에 대한 아이디어 또한 있어야 했다.

    그 아이디어는 이렇다.

    투트랙 플랙을 세웠다.

    2개의 잡을 만들었다.

    1) 현재기준으로 블록을 따라가면서 분석하는 잡.

    2) 마지막 블록기준으로 블록을 따라가면서 분석하는 잡.

    1번 잡은 서비스가 시작/재시작할때, 항상 가장 최근의 블록부터 빠르게 따라가도록 구현하였다.

    현재 생성되는 블록의 분석을 우선시 하면서 모니터링에 딜레이가 최대한 없도록 하기위한 전략이다.

    2번 잡은 서비스가 중지됬던 시점에 블록부터 1번잡이 시작할때 처리하기 시작한 블록 그 사이의 블록을 분석하는 잡이다.

    중지되었던 사이의 블록을 별도의 잡으로 분석하도록 하여, 분석의 빠짐이 없게 만들었고, 분석의 성능도 끌어올렸다.

    (이부분은 해당갭의 블록들을 여러개의 조각으로 슬라이스해서 멀티 스레드로 나눠서 분석/구동하여 좀더 빠르게 처리를 하도록 만들었다.)

    이렇게 2트랙의 분석잡을 구현함으로써, 실시간으로 만들어지는 블록의 데이터를 지연없이 빠르게 분석하여 모니터링할수있게 만들었다.

    (이부분이 이 서비스의 개발에 킥이라고 본다!!!)

    그리고 팁하나, 블록체인 노드를 직접 운영을 해야, 블록체인 데이터를 받을수있다.

    하지만 노드를 토이 프로젝트에서 운영을 하기는 너무 서버 자원이 많이 들었다.

    이더리움, 비트코인 노드만 운영하려해도, 블록데이터가 어마어마하기 때문이다.

    이런 경우 대부분은 이런 노드를 대신 서비스해주는 서비스들을 사용하게 되는데, https://www.infura.io/  가 특히 유명하다.

    이런 서비스는 구독서비스지만, free티어도 제법사용하기 좋다. 하지만, 트래픽 제한이 있기때문에 24시간 데이터를 받으면 트래픽 제한으로 사용 제한이 걸리게된다. 

    이부분은 여러 계정에서 API키를 발급받아서, 자체 키 클러스터를 구성해서 트래픽을 더 사용/받을수있게 했다.

    키 클러스터라고 하니 거창하지만,

    val index = 0
    
    val keys = listOf("api키", "api키", "api키")
    
    val key = keys[(index++) % keys.size]
    
    key이용해서 infura의 블록체인 정보조회 API 호출하고 사용!!!

    키를 여러개 받고, 모드연산으로 라운드로빈 방식으로 api키를 돌려가면서 사용하게 하여,

    트래픽을 api갯수배만큼 더 사용할수있게 만들었다. (이놈의 잔머리..)

  • [개발생각] ‘개발 문화’라는 달콤한 열매

    ‘개발 문화’라는건 지층이나 퇴적물과 생성과정이 사뭇 비슷하지 않을까? 생각한다.

    오랜세월 차곡차곡 퇴적물이 쌓이고, 비,바람,압력등으로 견고하게 한층한층이 단단해지듯이, 꽤 오랜 세월이 필요하고,

    오랜 노력과 역경이 필요한 것! 이 결과물이 ‘개발문화‘라고 생각한다.

    결국, 우당탕탕 싸우고, 의견을 나누고, 협의하고, 공감하고 등의 역경/시련이 반드시 필요하다는것이다.

    그중, 가장 중요한것은 다수의 공감, 그리고 그에 따른 다수의 노력/실행이다.

    공감은 개발자의 모두가 해당 문화에 대해 공감을 이뤄야하는 시간과 실질적으로 공감을 하는 자리가 마련되어야 한다는 필요 충분조건이 필요하며, 지속적이고, 집요하리만큼…꾸준함으로 술이 익기를 기다리는것과 같이, \그 여유를 견디고 즐기며,

    기다릴줄 알아야 하는 시간이 필요하기도 하다.

    (단기간에 모두의 공감을 얻기는 쉽지않다)

    또한, 노력과 실행은 개발문화를 만들기 위해 지켜야하는 지겹고, 따분하고, 어떻게 보면 비효율적이라고 생각하는 약속들을

    기꺼이 실행하고 참여하고 노력하는 것이다.

    결국 소수의 힘으로는 개발문화를 만들수없다는 이야기이고,

    다수의 집단의 공감과 노력으로 개발문화는 만들어진다.

    우리 회사는 개발문화가 아직 없어! 라고 생각한다면,

    나부터, 개발문화를 위한 공감을 해야하고, 함께 정한 룰을 충실히 따르는 고통을 감내해야 한다.

    아마 이부분이 가장 어려울듯하다.

    “떡볶이는 먹지만, 살은 안찌고 싶어!”라는 이기적인 생각이 대부분 인간의 행동을 사로잡고 있을테니..

    이런 이기적인 생각과 귀차니즘, 그리고 공감등의 요소들이 모두 하나로 유기적으로 결합될때,

    결국 ‘개발문화’라는 달콤한 열매를 맛볼수있는게 아닐까?

  • [자작] Mock Api 서비스 – MOCKSAL (목살)

    [백앤드 개발자는 필연적으로 프론트 개발자와 합을 맞추며, 어플리케이션을 완성해 가야한다.]

    DEMO : https://mocksal.super100.app/

    협업을 하게되면, 의외로 발목을 잡는 부분이 서로간의 일정/개발 진행상황등이 맞지 않게 되면서,

    어느 한쪽이 개발진행이 뒤쳐지는 상황이 나오게 된다는 것이다.

    이 경우, 가장 일반적인 방법은 서버 웹코드상에서 Mock API를 만들어서 제공을 하는 방법이 있다.

    실제로 요청,응답 DTO들 또한 추가를 해야하고,

    Mocking을 위한 코드를 해당 브랜치에 반영을 해야하니,

    코드관리가 지저분해지는것이 단점이다. 

    또한, 어느 순간 없어질 Mock API에 너무 많은 시간을 할애하게 되는 문제 또한 발생한다.

    Mock API는 이런 문제를 해결하고,

    스펙정의가 명확하지 않지만, 프론트 개발쪽에서 개발이 가능하도록 API를 빠르게 제공해야할때,

    특히 그 힘을 발휘하게 된다.

    Mock API기능은 내가 지속적으로 고민을 하던 문제이고, 관심을 갖고 있었던 차에,

    25년의 마지막날… (연말에 아이디어가 떠오르다니..)에 완전한 아이디어가 떠올라,

    25년 마지막날 밤을 코딩으로 모두 사용하게 되었다..ㅠ (개발에 6시간을 투자)

    하지만, 완성된 서비스를 보니, 그럴듯하고 사용성과 아이디어면에서 만족하기에 후회는 없다.

    그럼, 내가 만든 Mock API 서비스인, Mocksal (목살)을 소개한다. (이름이 참..ㅎㅎ)

    목살은 자바 Agent기능을 이용한 Mock API 서비스이다. 큰 특징은 아래와 같다.

    1. Agent기반으로 구동하기에, 서비스코드에 어떤 코드추가등이 필요없다. 

    2. Mock대상 API를 자동 스캔하여, API들 목록을 어드민에서 보여주고, UI를 통해, Mock api를 on/off할수있다

    (UI가 쉽다는 이야기)

    3. Mock API에 나만의 로직을 넣을수있다. (단순한 정적값만을 응답하는게 아닌, Mock API도 로직을 넣을수있다)

    4. Mock API를 관리하는 ADMIN을 제공한다. 

    기능중에서 특히,

    javascript코드를 이용해, mock api에 로직을 직접 넣을수있는 기능은 정말 마음에 든다.

    좀더 유연하고, 의미있는 mock 데이터를 제공할수있는 기회를 제공한다.

    위 화면과 같이 스크립트를 작성하는 화면을 어드민에서 제공을 하는데,

    왼쪽은 Agent로 구동시킨, 사용자의 API서버에서 API를 자동스캔하고,

    해당 API의 요청,응답 파라미터의 정보또한 스캔하여, Mocking할 api의 정보를 보여주게된다. 

    오른쪽의 스크립트는 onRequest (요청값 조작)와 onResponse (응답값 조작)라는 함수를 제공하고,

    해당 함수 안에서 각각 요청 파라미터를 조작하고, 응답 파마리터를 조작할수있게 기능을 제공한다.

    예전 기획자의 요청중에 목데이터중에 요청값이 A이면 응답을 1로, 요청값이 B이면 응답을 2로 내려달라는 요청이 있었는데,

    이게 단순 정정적으로 내려주는 mock코드로는 상당히 귀찮은 구현으로 제공해야하기에.. 고민을 했던 부분이 있다

    (Mock로직을 실제 API에 코드를 작성해서 제공해야하다니..)

    다행이 기존부터, 자바에 빌트인으로 제공하는 nashorn 자바스크립트 컴파일러가 있는것을 알고있었기에,

    위와같은 아이디어를 접목하여 mock api에 로직을 사용자가 추가하여 적용할수있게 만들었다.

    그리고 어드민에서 제공하는 기능중에, 에이전트가 현재 동작중인지 아닌지를 알수있는 현황 대시보드를 제공하는데,

    여기서도 깜찍한 아이디어로 간단히 구현을 하게 되었다.

    에이전트가 시작되는 이벤트에서, Y 마킹을 하고, 종료되는 이벤트에서 N 마킹을 하여, 에이전트 동작여부를 보여줄수도있지만,

    이경우,

    강제종료를 하는경우는 종료 이벤트를 받지못하고 종료되기에, 계속 Y로 (에이전트 동작하고있어요) 표시가 되는 문제가 있다. 

    이 부분은 고민을 하다가, 모니터링 스레드를 하나 동작시키고, 해당 스레드에서는 일정시간(5초)으로 타임을 업데이트하게 했다. 그리고 ADMIN에서는 5초간격으로 해당 타임을 API를 통해 요청하고, 현재시간과 해당 타임의 간격이 5초이상 벌어진다면,

    에이전트가 죽은것으로 간주하고 N으로 보여주게 로직을 간단히 짜서, 해결하였다.