• [개발생각] 버킷리스트 게임 – 금광을 찾아서 리마스터링

    지금부터 15년전인가? 그당시 iphone 3gs 나오던 시절이였는데, 

    그때 게임개발에 한창 빠져서, cocos2d라는 2d게임엔진 라이브러리가 유행할때, 틈틈히 1년간 게임을 만들었던적이있다.

    참, 지금 AI시대에 1년간 게임을 혼자 만든게..너무 지금 생각하면 어이없기도 한데,

    그래도 잼있는 추억이다.

    맵에디터, 스프라이트툴부터 직접 다 만들어서 사용해서, 나름 게임에 대한 개발지식이 많이 쌓였었기 때문이다.

    그때, 처음으로 만든게임이, ‘금광을 찾아서’라는 고전게임이다.

    (어벤던웨어라고, 저작권이 있지만, 소유주가 거의 버린 저작권으로 판단되는 소프트웨어로 확인함)

    우선은 내가 어릴때 가장 잼있게 한 고전게임이기도 했고, 모바일게임으로 만들고싶은 게임이기도 했어서,

    이 게임을 모바일게임으로 만들기로 마음먹고 만들었었다.

    1년이 꼬박걸렸지만, 결과는 나름 자부심이 생기는 결과였다.

    앱스토어 유료 게임 카테고리 부분 1위를 그당시 잠깐했다. 1주일정도했다.

    다운로드수도 꽤많았고, 0.99$ 수입도 하루에 40만원정도 들어올정도였다.

    뭐, 지금은 추억이지만, 나름 자랑거리중에 하나로 기억한다.

    가끔씩은 아, 그당시 모바일용 금광을 찾아서를 다시 한번 리마스터링해서 만들어보고싶다는 생각을 했었는데…

    AI시대에 발맞춰, 새로 만들어보게 되었다..

    성과는 대성공이다!!!

    클로드와 코덱스의 조합으로 만들었는데, 게임개발에서는 강점이 명확했다.

    클로드는 게임개발자체를 잘하고, 코덱스는 이미지 스프라이트 생성을 잘했다.

    그리고 인프라 구성(서버 배포)을 막힘없이 하는쪽은 코덱스가 강했다.

    이 장점을 잘 활용해서 게임을 리마스터링할수있었다.

    아직은 베타 버전인데, 조금만 손보면 거의 마무리가 되기에, 베타버전을 공개한다.

    https://goldmine.super100.app

    (pc에서 하는것을 추천한다)

    게임은 단순하지만, 나름잼있는 내용이다. 

    서부시대 골드러시 시대에 늙은 할아버지 한명이 금광을 찾아서 여행을 하고,

    인디언을 만나고, 뱀에 물리고, 갱단에 습격을 받고 하면서, 전설의 금광을 찾는 이야기를 게임으로 만든것이다.

    (스샷2번째가 전설의 금광이다 ㅋㅋㅋ)

    —————————

    오리지널과 다른점을 정리한다.

    —————————

    1) 마을사람을 추가했다. 마을사람들이 돌아다니고, 퀘스트를 주도록 했다.

    2) 갱단이 마을을 습격하는 이벤트가 추가되었다. (물론 플레이어는 갱단과 싸우는 전투신이 있다)

    3) 돈을 벌면, 마을에 여러 꾸미기 아이템을 설치하고, 장치할수있다 (예전 미니홈피 꾸미기 느낌이다)

    4) 친구 관계를 맺고, 친구의 마을을 방문 여행할수있다. (방명록도 남길수있다) – firebase db 사용

    5) 음악,그래픽을 리마스터링했다.

    6) 비,번개,맑음등의 날씨 표현을 했고 상호작용이 되게 했다.

    7) 달리기 기능을 추가했다. (오리지널은 플레이어가 달릴수가 없었다. 이동이 느려서 답답한 부분이 있었다.)

    8) 멀티플레이 기능을 추가할 예정이다 (mmorpg)

    3개 정도의 게임을 AI를 이용해서 만들어 보고 느낀점이 있는데,

    역시 개인 프로젝트가 아닌 실무에서는 AI 바이브코딩은 지양해야한다는것이다..

    바이브코딩 코드를 열어보면, 차마 볼수없는 지경의 코드로 가득차있다. (게임분야라 더 그런걸까??)

    중간중간 코드리뷰를 하지않고, 바이브코딩에만 의존하면, 분명 큰코 다칠일이 올것같다고 느꼈다.

    그리고 하나더 느낀점은,

    AI agent 별로 특히 잘하는 분야가 정말로 명확히 있다는것이다.

    codex는 이미지 처리나, 인프라 설치, 관리등에서는 정말 뛰어났다. 헤매는것이 없고, 의도를 명확히 파악하고 원하는 방향으로 잘 진행해주는것에 놀라웠다.

    claude는 이미지, 인프라등에서는 상당히 헤매고 퀄리티가 좋지 않았지만, 정말 바이브코드 코딩에서는 놀라울정도로 정확했다. 길찾기, 충돌 검증등에서만 약간의 실수를 했고 거의 대부분은 놀랄정도로 구현을 잘해줬다.

    이제 실제 서버코딩에 대해서 심도있게 테스트를 해볼예정이다.

    서버코딩에서 의도를 정확히 파악해서 할수있는지와 성능, 위험도를 잘 체크할수있는지를 테스트해볼예정이다.

    게임 개발은 이제 이걸로 끝!!!

  • [개발생각] 80억분의 1을 모티브로 만든 웹게임 ‘용사의 무용담’

    80억분의 1이라는 AI로 만든 웹게임을 해봤다.

    참 잘만들고 아이디어가 좋은 웹게임이라고 생각한다.

    AI를 사용해서 인생 시뮬레이션을 만든다는 생각은 못해봤는데, 개발자에게 존경을 표한다 ㅋ

    그래서!!

    나도 만들어봤다.

    인생 시뮬레이션은 아니고, 어릴때, 용사가 되서 모험을 떠나고, 마왕을 무찌른다는 상상은 누구나 한번쯤 해봤을것이다.

    그 환상과 추억을 다시 느끼고 싶었다.

    그래서 모험 시뮬레이션 이라는 주제로 시나리오와 기획을 했고, 아래와 같이 ‘용사의 무용담’이라는 웹게임을 만들었다.

    아직은 베타다.

    좀더 테스트를 거치고, 다듬고, 가장 중요한 무용담을 서로 공유하고, 모험의 여정에서 다른 플레이어의 모험담을 자연스럽게 녹이는 기획과 플로우를 넣지는 못했다. 이부분은 너무 복잡하여, 많은 생각이 필요할듯하다. ㅠ

    컨셉은 아래와 같다.

    ———————————————————————————————————————

    1. 나는 인간, 엘프, 마족 3개의 종족중 하나의 종족으로 태어나게 된다.

    2. 각각은 종족의 특성이 있어서, 시간의 흐름이 다르다. 예를 들면, 인간의 수명이 80년이라면, 엘프의 수명은 800년이다. 각자의 종족의 시간의 절대치를 다르게 했다. 실제로 그 시간의 흐름의 절대치가 다름에 따라, 수명의 길이와 시간의 길이가 다름을 경험하기 위해서가 가장큰 이유이다.

    3. 플레이를 시작하면, 아기 시절부터 시작을 한다. 1년 = 10초로 정했고, 그 시간에 따라 인생은 흘러가게 된다.

    4. 목표는 명확하다. 잘자라서, 동료를 만들고, 동료들과 기술을 연마하고, 결국 마왕을 무찌르는 목표이다.

    5. 이 목표를 위해, 여러 이벤트가 발생하고, 그 이벤트에 따라 무기,아이템, 능력치를 얻게했고, 때로는 좌절과 기쁨을 맛보게 이벤트를 구성했다. 인생의 단맛 쓴맛을 느끼게 했고, 그 어려움을 극복하고 결국은 마왕을 무찌른다는 서사를 체험해 주게 하고 싶었다.

    (용사는 마왕을 무찔러야 맛이니까 ㅋㅋ)

    6. 단순하게 마왕을 무찌르는 폭력성이 짙고, 복수라는 성격을 표출하는 여타 게임처럼 만들고 싶지 않았다. 마왕을 무찌르는것은 하나의 목표일뿐, 그것이 인생의 흐름에서의 목표가 되면 안되게 흐름을 구성했다. 즉, 시간이 흐르고 여러 이벤트를 통해, 인생의 여러 느낌 (희노애락)을 느끼게 했고, 그 부분에서 생각할수있는 ‘사색 노트’라는 개념으로 게임을 하면서, 인생에 대해서 생각할수있도록 하였다.

    7. 마왕을 절대적 악으로 표현하지 않기로 했다. 절대적 악을 무찌르는것은 너무나 뻔하잖아…ㅋ

    마왕또한 어떠한 사연으로 마왕이 된것으로 시나리오를 만들었고, 그 시나리오는 단조롭지않게 구성을 했고, 그 마왕이 되기까지의 이야기를 모험의 여정에 곳곳에 숨겨두고, 시간이 지남에 따라, 하나씩 밝혀지게 구성을 했다.

    “기억의 파편”라는 개념으로 그 마왕의 정당성에 대한 이야기를 하나씩 열어서 볼수있도록 했다.

    8. 동료와의 로멘스와 동료애를 넣었다. 동료는 때로는 연인이 될수도있고, 배신한 배신자, 악랄한 나쁜놈이 될수도있게 했다.

    9. 모험중 발견,획득하는 아이템 개념을 넣었다. 그리고 그 아이템을 보관하는 소지품 보관함과 아이템을 장착하면 능력이 올라갈수있는 장착 슬롯을 추가했다. (이부분의 아이디어가 나는 참 잘생각한것 같아서, 스스로 칭찬한다 ㅋㅋ)

    10. 모험이 진행함에 따른 선택지가 나온다. 80억분의1은 객관식만 가능하다. 하지만 나는 주관식을 넣을수있게 했다. 이미 정해진 시트에서의 흐름이 아닌, 내가 내 스스로 이야기를 만들기 위해서는 좀더 생각을 넣을수있는 주관식 답안 기능이 필요했다.

    11. 모험이 모두 끝나고 플레이어는 일정 시간을 무료하게 보내다가 죽게 된다. 플레이어가 죽게되면, 그때 그 용사의 모험담이 책으로 편찬되고, 그 책을 읽을수있도록 했다. 책의 내용은 마치 할아버지가 된 용사가 자신의 무용담을 손자,손녀에게 들려주듯이 전리하고 편찬하도록 했다. (이부분이 그런데 생각한만큼의 퀄리티가 안나온다. 이부분은 좀더 디벨롭을 해야겠다..)

    12. 각각의 플레이어가 게임을 통해 만들어간 자신만의 무용담 책은 다른 플레이어가 모험을 떠나면서 얻는 아이템중에 하나로 지속적으로 유입되게 만들예정이다. 처음에는 완전한 멀티플레이 개념으로 서로의 모험에 영향을 주는 방식으로 만들려고 했는데.. 난이도가 너무 높다.. 좀더 고민해야한다. 아쉽게 이 기능은 아이템의 유입정도로만 이번에는 만들려고 한다. (이부분도 만만하지는 않다 ㅠ)

    ———————————————————————————————————————-

    위의 12개가 내가 고민한 컨셉과 방향성을 정리한 내용이다.

    가끔 내가 INTP라는 것을 다행으로 여긴다..(완전 모두 공상에 공상이다 ㅋㅋ)

    두둥!!! 아래와 같이 데모(?) 버전을 선공개한다 ㅋㅋㅋ

    pc로 플레이하길 권장함

    https://hero.super100.app

    좋아요공감공유하기통계

  • [개발생각] 레거시 -> 마이그레이션 서비스 오픈

    이 세상 모든 물질은 시간이 지남에 따라 자연스럽게 레거시가된다.

    인간이 나이를 먹고, 아픈곳이 늘어나고, 기능이 떨어지듯,

    시스템 또한 시간이 지나고 문제있는곳이 늘어나고, 퍼포먼스또한 떨어진다.

    인간의 존엄성은 세상 어느것에 비할수없기에, 당연히 약을 먹고, 치료를 하며 연명을 할수있게 해야 마땅하지만,

    시스템이야, 생명이 아니니, 죽여버리고 (너무 과한 표현인가 ㅋ),

    다시 태어나게 결단만 하면 그 또한 훌륭한 방법이 될수있다.

    이 방법이 흔히 금융쪽에서 말하는 차세대 차차세대 이런용어로 쓰는 레거시 to 마이그레이션 프로젝트다.

    여기서 레거시를 마이그레이션하는 방법은 너무나 명확하니, 말할것은 없는것같고…

    나는 방향성을 말하고 싶긴하다.

    많은 사람들은 새로운 시스템이 더 많은것을 받아들이고, 더 많은것을 할수있고, 더 많은 기능이 있어야한다고 기대한다.

    물론 지당한 말씀이지요.

    하지만 그런 시스템이 되기위해서는 단계라는것이 상당히 중요하다.

    첫번째 단계로써 가장 중요한게, 바로 신규시스템은 충분히 심플해야함을 유지해야한다.

    검증되지않고, 정리되지않으며, 일부의 빅마우스의 목소리로 만들어서는 시스템은 점점 위험해진다.

    그 리스트를 회피하고, 심플함을 유지하기 위해서,

    개발자는 끊임없이 “왜요?” “왜 그렇게 해야하나요?” “근거가 뭐예요”등의 질문을 난사해야하고,

    그에 따라, 깐깐한놈이라는 인식과 일하기 힘들다라는 평가를 받게 될수도있다..ㅠ

    누군가가 그역할을 해야만, 시스템은 요구사항에 맞는, 핏하고 심플한 시스템으로 유지가 될고,

    후에 어떤 기능이라도 받아들일수있는 확장성이 있는 시스템으로 바뀔수있다.

    기능추가는 시간이 필요하다.

    오늘 정말 필요한 기능같지만, 몇일이 지나고 상황이 바뀌면, 필요없거나 잘못된 방향의 기능이라고 판단되어지는 경우도 상당히 많다.

    따라서, 기능, 개발에서는 “객관적인 근거”가 무엇보다도 중요하고,

    신속함만 쫒기보다는, 신속 정확까지를 챙겨야한다. 물론 개어려운 것이지만…

    동료들에게 오해를 받기 쉬운 부분이 이 부분이다.

    신속함은 많은 사람들에게 좋은것으로 평가받지만, 정확이라는 부분은 오해를 사기에 충분한 부분이기 때문이다.

    정확하기위해서는, 왜,근거,누가,언제등의 수식의 질문을 결국은 동료들에게 해야하고, 그 질문들이 민감하거나 공격적으로 충분히 오해할수있는 워딩들이기 때문이다.

    하지만 이런 리스크를 알지만,

    이런 방향성을 체크하고 막아주는 문지기의 역할을 할수있는 사람은 ‘개발자’가 적합하다는 생각은 변함이 없다.

    개발자는 이런 마음가짐이 무엇보다 중요하다고 생각한다.

  • [개발생각] 통계 RDB -> 빅데이터DB(NOSQL) 변경 준비.

    회사에서 에너지 사용 데이터를 준실시간으로 kafka에서 이벤트 수신을 받고,

    해당 데이터를 RDB에 적재하고,

    해당 적재된 준실시간 데이터를 시간단위별 (시, 날, 월) 통계를 만들어서 사용하고 있다.

    결국, Kafka 수신처리와 RDB적재 처리, 그리고 통계처리 이렇게 3단계의 프로세스가 존재하는 구조이다.

    이 구조에서 영 찝찝한 부분이 존재한다.

    2가지 정도인데, SCALE-OUT과 프로세스 단계에 대한 고민이다.

    1) SCALE-OUT 관점

    결국은 RDB적재 방식을 사용함에 따라, 데이터가 늘어나게 되면, 스케일아웃이 힘들어진다.

    미리 샤딩이나 클라우드 방식을 생각하지 않고 진행이된다고, 더더욱 답이 없고,

    사실 RDB구조에서는 샤딩이외에는 이렇다할 방법이 없는것도 사실이긴하다..

    2) 프로세스 단계의 복잡함 관점

    수신하고, 데이터를 RDB에 넣는 프로세스가 병목을 발생시키거나, 관리의 복잡함을 초래한다.

    단지 수신하고 단위를 변환하는 간단한 작업 + 실제 데이터를 저장하는 프로세스이기에,

    이부분이 자동화 되거나, 솔류션내에서 안전하게 제공이 된다면,

    그 기능을 사용하는편이 훨씬 일관되고 안전하다고 생각이 든다. 

    이러한 부분때문에 고민을 하고있었는데, clickhouse카드를 다시 꺼내게되었다.

    초기 프로젝트를 시작할때, 도입할까 고민을 했던 db였는데…

    딱 맞는 db로 보이긴한다..

    우선 clickhouse를 좋게 본 장점에 대해서 정리해본다.

    1) 컬럼베이스 디비라는것이 좋았다.

    – 일반적인 ROW베이스 디비 특히 RDB는 필요하지 않은 컬럼이지만, DB내부에서는 조회를 할수밖에 없다.

    ROW단위로 데이터가 저장되기때문에 불필요하지만, 로드하여 조회를 하기위해서는

    결국은 MEMSTORE에 데이터를 올려야하기때문이다.

    – 컬럼베이스 디비는 데이터를 ROW단위로 저장하지않고, 컬럼 단위로 데이터를 저장한다.

    내가 해당 컬럼만 조회하면, 해당 컬럼에 해당하는 데이터만 조회하여, MEMSTORE에 데이터를 로드한다.

    그만큼 필요하지않는 데이터를 로드하고, 스캔하지않기에 더욱 시스템을 적게사용하고, 같은 범위지만 더 적은 메모리를 사용하고 빠르다. 

    – 이런 방식이 예전(??) HBASE를 사용할때의 컬럼패밀리 방식과 같다는것을 알고, 기쁘면서도, HBASE의 속도를 경험했었기에, 신뢰가 가기 시작했다. HBASE는 진짜 겁나 빠르니…

    2) KAFKA CONNECTOR가 빌트인 기능으로 제공한다.

    – KAFKA를 많이 사용하는데, 항상 보일러플레이트하다고 느끼는 부분이 바로,

    KAFFA토픽을 읽어서, 데이터를 가공하거나, 저장을 하는 프로세스들이다.

    하는일이 비슷한데 매번 코드로 구현을 해야하고, 그 인스턴스를 배포하고 구동시켜야한다.

    – 만약, KAFKA의 이벤트 정보를 바로 테이블에 저장해주는 기능을 DB에서 빌트인으로 제공해주면 얼마나 편할까? => clickhouse!!!

    3) 이벤트 데이터를 테이블화 시키면, 정말 편해지는것 플로우의 가시성이다.

    – 비동기큐를 사용할때, 항상 코드에서 가시성이 떨어지는 부분은 어쩔수없었다. 잘관리를 한다고 해도,

    어디서 pub을 했고, 어디서 consumer을 하는지를 명확하게 코드의 흐름으로 나타나지는 않는다.

    ddd, port adapter 패턴을 사용한다고 해도, 한눈에 보이지 않은것을 비슷하다.

    이벤트 (실시간성 데이터)를 테이블화(정적인 데이터)하여 사용가능하다면,

    적어도, consumer에 대한 코드의 흐름을 더 명확하게 사용하고 정리가 가능하다.

    usecase등에서 시퀀스하게 코딩을 할수있으니, 흐름 파악이 상당히 쉬워진다.

    4) 통계디비 버킷잡을 지원한다.

    – postgresql에서 timescaledb기능을 이용하여, 통계 테이블을 bucket단위로 잡을 등록해서 통계 쿼리를 통해 데이터를 어그리게이션하는 기능을 사용했다. 이 기능 또한 비슷하게, clickhouse에서도 제공을 한다!!

    udf 또한 사용이 상당히 자유로워서, custom하게 func을 만들어서, 쿼리, 통계시에 기능으로 사용할수있어서, 확장성이 뛰어나다.

    개인정보를 대칭키로 암호화한 부분이 있는데, 이것도 udf를 만들어서 쿼리에서 언제든지 복호화해서 바로 조회하여 볼수있게 쿼리만으로도 사용가능하다.

    (예전 HIVE, HBASE UDF사용하려면, 등록하고 배포하고, 재시작해야하고… 상당히 번거로웠는뎅 ㅠ)

    이정도 장점을 정리해보고…

    사실 단점도 있다..

    KAFKA TO TABLE을 위해서는 테이블 구조 설계에 신경을 써야한다는것이긴한데…예전 HBASE 테이블 설계에 비하면, 사실 껌이지…

    HBASE 테이블 설계는 key-value에 컬럼패밀리까지 봐야하는거라서, 참 까다로웠다.

    그것에 비하면 어렵지는 않을것으로 보이긴한다.

    시간이 날때마다 장점과 단점을 서베이해봐야겠다.

    현재 DR, 통계, 푸시 시스템에서는 위에 장점들을 잘살리면, 획기적으로 설계를 할수있을것같다.

    획기적인 설계라는건 나는 항상 심플한데 유연한 설계라고 생각하기에…

    심플해질수있다!! 라고 보면 되겠다.

  • [게임개발] 자작게임-워커맨더 100% AI로 만들다

    AI를 사용한 게임개발이 정말 가능할까? 라는 생각을 했다.

    유투브등을 보면, 바이브코딩이 많이 있고, 게임개발 영상도 많이 있는데, 간단한 게임들이기도 하고

    복잡한 게임제작이 정말 순수 바이브코딩으로만 가능할지가 궁금했다. 

    그래서 한번 만들어보기로 했다. (궁금해서 해봤어요 !!! )

    개인적으로는 게임장르중에 제일 만들기 힘들고 복잡한 장르가 RTS 전략시뮬레이션 장르라고 생각하여,

    장르는 RTS로 했고, 워크래프트와 스타크래프트를 참고하여,

    종족과 유닛등을 정의하여, 만들어봤다.

    결과는… 미쳤다… 너무나.. 잘 뽑혔다.

    물론 리터칭이 필요한 부분이 많이 있지만, 이정도 퀄리티를 바이브코딩만으로 개발이 가능하다면,

    나는 무조건 게임개발에는 AI를 적극 활용할듯하다.

    예전에 유니티로 한땀한땀 몇달을 만든 게임 퀄리티와는 비교도 안되다니…ㅠ

    격세지감이 느껴지긴한다.

    더욱 놀라운것은 멀티플레이(배틀넷) 또한 완벽하게 개발이 가능하다는 것이다. 

    내가 원하는 멀티플레이 환경을 정의하고, 프로토콜을 정의하는게 좀 까다롭긴했지만, 프로토콜 정의만 잘 한다면,

    멀티플레이까지 완벽하게 만들수있다.

    (장르에 맞춰서 데이터를 실시간으로 전달받는 방식이 조금씩 다르다. 특히, 격투게임과 아닌게임은 더더욱 크다. (롤백프로토콜, 제로딜레이 프로토콜등))

    아래 내가 만든 게임의 녹화장면을 공개한다.

    싱글플레이와 멀티플레이 모두 가능하고, 구글플레이 연동으로 전적 또한 클라우드에 저장관리할수있도록 구성하였다.

    거의 99% 완성게임이며, 현재 남은건 종족별로 밸런스 조정정도와 그래픽 표현 수정 정도가 남은것 같다.

    (효과음,배경BGM 또한 AI로 만들었는데, 녹음이 안됬네;;;;  – 우선 사운드도 만족할만큼 나왔다.)

    [개발에 사용한 AI]

    게임 개발 AI – CODEX – GPT-6 ASTRA

    이미지, 효과음 AI – 제미나이, 나노 바나나

    개발시 토큰이 살살 녹아버리기에…

    ASTRA모델을 주로 사용하지는 않았고, Sol모델로 주로 사용하고,

    복잡한 구현이 필요할때 ASTRA모델을 사용하는 방식으로 토큰 사용량을 줄였다.

    멀티플레이는 동시에 1000명이 플레이 가능하다.

    [최신버전 2.0]

    [버전 1.0]

  • [개발생각] apache temporal을 이용한 예약푸시 기능

    예약푸시 기능을 일반적으로는 redis zset을 이용해서 구현을 많이 한다.

    예약시간으로 소트된 푸시대상을 zset에서 꺼내서 전송하는 방식이다. 그리고 예약푸시의 취소기능은 해당 zset에서 해당 예약푸시 대상을 제거하는 방식으로 구현을 한다.

    여기서 문제가 하나있는데, 취소기능을 구현하려면, zset하나만으로는 안되고, 해당 payload를 저장하고 있는 별도의 set구조가 하나더 필요하다. 조금 복잡해지는 감이 있다.

    최근에 temporal이라는 오픈소스를 알게됬고, 이 예약푸시 기능을 temporal을 이용하면, 훨씬 간단해진다는것을 알았다.

    Workflow.sleep(Duration.ofSeconds(3))

    이 명령어 한줄이면 예약푸시는 끝난다…

    Workflow.await(delay) { cancelled }

    그리고 취소도 엄청나게 간단하다..ㅎㄷㄷㄷ

    위에 sleep, await는 실제로 thread를 블록하는 thread.sleep가 아닌, temporal에서 제공하는 비동기 sleep, await이다.

    따라서 thread가 블록되는일이 없다.

    그리고 훨씬 코드가 읽기 쉽다.

    예약시간까지 sleep하다가 푸시를 보내라!! 라고 하면 예약 푸시가 되는 구조니, 논리적으로도 맞고,

    구현또한 비즈니스 흐름과 맞게 흘러간다.

    실제로 temporal 도커로 설치하고, 샘플 코드를 간단히 구현해서, 1만개 worker를 만들어서 동작해봤는데, 잘동작한다.

    temporal에서 제공하는 인터페이스에 맞게 Activity를 구현하고,

    해당 Activity를 WorkFlow라는 실행흐름설정을 하여, Temporal에 Worker로 등록을 하면,

    내가 원하는 시간에 해당 비즈니스 로직을 실행시켜준다.

    그리고 더욱 좋은 기능은,

    바로, 시스템이 중간에 셧다운되거나, 배포등으로 에러가 발생해도, Activity단위로, 이미 실행한 결과를 상태로 저장을 하고있기때문에, 자동으로 재처리를 수행해준다. (이미 실행된 Activity의 결과는 재사용 방식)

    이 기능때문에,

    중간에 잡이 죽거나,

    배치잡이 죽었을때,

    재처리를 별도로 해줘야하는등의 부가적인 프로세스가 필요없게 된다.

    단지, 설정한 타임아웃안에 서버가 다시 잘동작하면, Temporal에서 자동으로 재처리로 처리를 해준다.

    미쳤다…

    좀더 일찍 알았으면,

    푸시 기능을 Temporal로 구현을 했으면 좀더 간단하게 구현을 했을것이라는 안타까움이 있지만,

    실제로 많이 쓰는 Redis방식으로 경험을 하게 만든것도 좋은 경험이기에 아쉬움을 달랜다. (실제 같이 설계해서, 팀원이 만듬)

    다음에 기회가 된다면,

    푸시, 리워드, DR등에 적용할수있다고 판단되면, 적용을 해봐야겠다는 생각을 한다.

    생각보다, 코드로 구현하기 어려운 기능이 바로, 특정 시간에 특정조건으로 트러거되는 기능등이 상당히 까다롭고, 귀찮고, 난이도가 있다.

    (주기적으로 조건을 확인하고 동작하게 만드는 배치잡을 만들거나, 카프카 트러거로 동작하게 만드는게 일반적)

    이부분을 단순화한다면, 시스템의 단순화에 많은 도움이 된다.

    * Temporal에 Fsm을 적절하게 섞어서 설계를 하면, 정말 확장성있는 DR, PUSH, REWARD 기능을 설계할수있지 않을까 생각이된다.

  • [개발생각] LMAX Disruptor에 대해서

    한때 코인이 엄청나게 인기가 있을때, 거래소를 만들고 싶어서 많은 공부를 했던 기억이 있다.

    거래소를 만들기 위해서는 여러 기술등이 필요했고, 고민들이 필요했다.

    거래소에서 거래 기능은 ms를 다투는 초저지연으로 기능이 구현되어야 한다.

    거래라고 하면, 비트코인 매도가 올라오면, 해당 매도 수량에 대해서 동시에 많은 구매자가 매수를 시도하게 되고,

    해당 기록은 디비에 남겨지고, 그 매수량에 따라 각각의 구매자의 수량을 더해줘야하고,

    매도자의 수량을 빼줘야하는 동시성이 아주 중요한 기능을 ms단위로 수행을 해야한다.

    이기능을 단순히 db로 구현하게 되면,

    몇명만 동시에 거래를 수행해도, db가 맛이 가게되거나, 정합성이 맞지 않게 된다.

    여기서 해결책은 db에 로우락을 거는 방법인데,

    이러면, 동시처리 성능이 현저하게 떨어지게 되어 사용을 할수없을 정도가 된다.

    이것들을 해결하기 위해,

    REDIS을 이용하여, 거래를 수행하고, 거래 결과는 writeback방식으로 이후에 db에 정리해서 넣는 방법을 하면,

    좀더 퍼포먼스를 낼수있다.

    여기서 중요한것은 redis를 사용할때,

    원자성을 보장해 주도록 기능을 구현해야한다는 것이다.

    일반 명령으로는 redis는 동시성을 제어는 해주지만, 원자성을 보장해 주지는 않기 때문이다.

    원자성을 보장해 주도록 하기위한 방법으로는 redis의 명령을 lua script를 통해 수행하도록 구현하면 해결할수있다.

    lua script를 통해, 거래가 이루어 졌을때,

    매수자의 수량을 빼고, 금액을 더하고, 매도자의 수량을 더하고, 금액을 빼주는 레디스 명령을 묶을을 구현하면,

    레디스는 해당 lua script내의 명령을 원자적으로 실행해주게 된다.

    다만 주의할것은 원자성을 보장해 주는것이지, 트랜잭션을 보장해 주지는 않는다는 것이다.

    redis에는 트랜잭션 롤백 기능이 없기때문이다.

    (성능을 높이기 위해 포기한것이겠지..그래서 레디스가 빠른것이고..)

    또하나 원자성 보장의 방법은 Multi명령을 통해, 여러 명령을 하나로 묶는 방법이다.

    이렇게 사용하면, multi안에서의 각각의 명령이 실행될때, 다른 인스턴스에서의 명령어들의 수행이 막히기에 원자성을 보장할수있다.

    트랜잭션 롤백은 알아서 잘 처리를 한다고 가정하고… 

    (레디스에서 변경 명령어를 사용할때는 최대한 미리 확인(get, exist)를 하고 실제 변경가능한지를 먼저 체크하도록 구현해야한다. Watch명령어도 적절히 잘사용해야하고.. 고민할것이 많은 부분이다..)

    여기서 대부분은 끝을 낸다..

    대용량/저지연 처리를 하는 다른곳에서도 대부분은 레디스를 사용하는 방법정도로 기능을 구현한다.

    그리고 레디스 클러스터 노드를 늘리고, 웹서버를 늘리는 식으로 성능을 스케일아웃하는 방법을 사용한다.

    여기서 한발짝 더 나가면, 전혀 다른 세상을 경험할수있다.

    바로 LMAX Disruptor의 사용이다.

    LMAX Disruptor를 사용하는 법을 말하려는것이 중요함이 아니라,

    어떻게 초저지연으로 레디스,큐보다 빠르게 처리를 할수있는지 그 원리를 이해하는게 중요하다는 이야기이다.

    잘 생각해보자.

    동시성에서 지연을 일으키는 원인이 무엇이고, 성능을 떨어트리는 원인이 무엇인가를 생각해봐야한다.

    1) 거짓 공유 – 메모리 파편화에 따른 캐시 비효율적 EVICT 현상.

    2) 락으로 인한 성능 저하 – 같은 자원을 여러곳에서 사용하려고 하는것에 대한 해결로 락을 사용함에 따른 성능저하.

    위 2가지가 동시성에서 지연을 일으키는 가장 중요한 사항이다.

    1번은 하드웨어적인 요인이라고 볼수있고, 2번은 소프트웨어적 요인이라고 봐도 무방할듯하다.

    이 2가지를 LMAX Disruptor를 아무 똑똑하게 해결을 했다.

    하나씩 설명하겠다.

    1) 거짓 공유 – 메모리 파편화에 따른 캐시 비효율적 EVICT 현상.

    결국 메모리가 파편화됨은 소프트웨어에서 할당하여 사용하는 변수들이 파편화됨에 따라 거짓공유가 일어나게 된다. (L1,L2,L3..)

    따라서 LMAX Disruptor에서는 링버퍼를 이용하여,

    미리 연속된 메모리를 확보하고, 해당 메모리 내부에서만 데이터를 저장하고 사용하는 방법을 사용한다.

    어떤 새로운 데이터를 저장하기 위해 새로 메모리를 할당받지않고,

    이미 큼지막하게 할당받은 메모리에서 사용하지않는 부분을 재사용하는 방법을 통해, 메모리 파편화를 줄인다.

    링버퍼를 이용하여, 현재사용하는 위치와 사용하지않는 위치를 판단하고 사용하지않는 위치에 새로운 데이터를 오버라이트하여 사용함을 사용한다. GC대상도 줄어들기에 일석이조이다.

    (음…링버퍼은 내가 대학생때도 있던것 구조긴한데.. 응용을 했다는것이 대단해..ㅋ)

    2) 락으로 인한 성능 저하 – 같은 자원을 여러곳에서 사용하려고 하는것에 대한 해결로 락을 사용함에 따른 성능저하.

    락을 걸어야하는 이유가 여러곳에서 특정자원을 접근하려고 할때인데,

    LMAX Disruptor에서는 싱글 프로세스,싱글 쓰레드로 동작한다.

    원천부터 멀티 접근을 통한 데이터 저장을 허용하지 않는 방법을 취했다.

    이렇게 함으로서 CAS, SPIN등의 락프리,완화된 락의 방법조차 필요없게 되고, 완벽한 락프리로 동작하도록 할수있다.

    (물론, 코딩을 거지같이 하면… 문제가 발생하겠지만..)

    LMAX Disruptor는 그것말고도 배리어 개념과 sequence개념이 존재하는데,

    이 개념으로 인해, 성능을 극도로 올릴수있게 된다.

    큐등에서는 내가 컨슘을 해야하는 갯수, 주기가 정해져있어서, 내가 더 처리를 할수있는 시점에도 정해진 처리만 한다거나,

    내가 더 처리를 할수없는 상황에서도 처리를 하려고 시도한다거나 할수있는 구조이다.

    하지만, LMAX Disruptor에서는  배리어 개념과 sequence개념으로 인해,

    내가 어디까지 최대한 처리할수있는지 그 인덱스를 미리 알수있기에, 내 성능에 맞게 최대한으로 처리량을 늘릴수있고, 줄일수있다. 

    LMAX Disruptor는 초지연처리에서는 정말 좋은 솔류션이다.

    하지만, 단점도 있는데, 

    모든것이 싱글 인스턴스.싱글 스레드에서 동작하고, 로컬 변수로 동작하기에, 갑작스런 시스템다운등에는 취약하다.

    기존에 메모리에 담고있던 모든 데이터가 한순간에 날아가기 때문이다.

    이부분은 복구 전략을 잘 만들어야하는 부분이다.

    LMAX Disruptor를 사용할때는 저널링이라고 하여 일명 WAL기능을 넣는것이 안정적이다.

    저널링이란, LMAX Disruptor에 데이터를 추가하기전에 미리 파일에 해당 데이터를 기록하고 수행하는 방식이다.

    장애가 났을때는 해당 저널링 파일을 읽어서 리플레이(복구)를 하도록 한다

    (레디스등에 aof, rdb와 비슷하다고 보면 되겠다)

    내가 LMAX Disruptor를 깊게 알수있게 도움을 준 오픈 github소스는 아래 링크이다. (전체 코드를 하나하나보면서 모두 파악했다)

    https://github.com/exchange-core/exchange-coreGitHub – exchange-core/exchange-core: Ultra-fast matching engine written in Java based on LMAX Disruptor, Eclipse Collections, RUltra-fast matching engine written in Java based on LMAX Disruptor, Eclipse Collections, Real Logic Agrona, OpenHFT, LZ4 Java, and Adaptive Radix Trees. – exchange-core/exchange-coregithub.com

    외국 개발자가 LMAX Disruptor를 이용하여, 거래소를 만들 오픈소스엔진인데, 이 코드를 보면, 대단하다는 것을 느낄수있다.

    여기에 저널링기능도 구현되어있다.

    (그런데…저널링 기능에 버그가 있다… 나는 버그를 수정해서 사용했었다)

    나만의 생각인지는 모르겠지만,

    싱글 스레드에 퍼시스트한 원격저장소 기반으로 동작하지않는 구조가 위험하다고 생각하는 개발자가 많을것같다.

    하지만, 그것은 고정관념일수있다는점을 알아야 할수도…

  • [개발생각] AI사용에 대한 전략

    주말에 Google Antigravity2.0를 사용해서, 예전에 개인적으로 만든 앱의 UI가 너무 별로여서, 화면을 바꿔봤다.

    (아래 앱인데.. 디자인 너무 구려… 못볼지경 ㅠㅠ)

    경제 정보들을 크롤링을 해서 보여주는 웹앱인데…

    저거 UI 내가 한땀한땀만들었던 기억이 나는데..

    만들고보니, 영, 디자인이 별로였다.

    앱 출시할까? 생각하다가 그냥 버려둔 웹앱인데..

    Google Antigravity2.0 설치하고 Agent모드로 장난삼아, 여기여기 이렇게좀 바꿔줄래? 라고 했는데..

    오호!! 할정도로 화면을 바쭤주는것이다..

    저 그래프가 압권인데..

    크롤링한 차트이미지를 픽셀분석하여, 좌표 추출해서 그래프로 보여달라고 요청을 하니, 그렇게 구현을 해주었다.

    픽셀 좌표 추출 분석 기능이라, 직접 구현하려면, 상당히 난이도가 있는 부분인데 뚝딱 만들어 줬다. 

    개인이 만드는 앱,웹등에서,

    프론트 개발에서 UI를 구성하는 부분은 AI를 사용하면, 정말 효과를 많이 볼것같다는것을 다시한번 느꼈다.

    (퀄리티가 그렇게 중요하지 않고, 단기간에 만들어야하는 개인개발 측면)

    AI를 사용하는 개발을 경계해야한다고만 생각을 하였지만, AI를 잘사용하는 방법은 생각을 안했던것 같다.

    대세에 역행을 할수가 없고, 적응해야한다면, 변화를 잘 활용하는 방법을 생각하는것이 현명한것 같다.

    (IT 흥선대원군이 되고 싶지는 않…)

    담주부터는 슬슬 AI를 팀내에서 어떻게 활용하고, 어떤 방법으로 활용을 할것인지를 깊게 고민을 해봐야겠다.

    우선 간단히 정리한것은 아래와 같다.

    1) 프로젝트에 대한 각자의 이해도를 높이는것은 AI가 아닌 본인의 역할로 봐야함.
    2) 각자의 이해도가 높아진 상태에서, 각자의 개발 설계에 대해서 이야기(논의)를 함.
    3) 설계에 대한 초기안을 가지고, AI를 활용하여, 첨언,수정등의 조언을 구함.
         3-1) 성능 측면과 확장성 측면을 집중적으로 AI를 활용함. (개발자가 초기에 모두 파악하기는 어렵기 때문)
    4) 각자의 역할을 정하고, 담당을 정한후, 1), 2), 3)을 반복함.
    5) 디테일한 설계가 완료되면, 종합적으로 논의를 하고, 실제로 진행.
    6) 여기서 부터는 각자의 AI활용은 자유에 맡김.

    중요한 요점은,

    프로젝트의 비즈니스 로직에 대한 이해도는 AI가 아닌, 본인이 파악을 한상태가 전제조건이 되어야한다는것이고,

    디테일한 부분에 있어서, 수정,조언등을 AI를 활용하여 초기 설계를 하고(특히 성능,스케일적인 측면),

    그 초기설계를 가지고, 다시 개발자들(인간)이 논의를 거치고 결정을 하며,

    그 결정된 사항에 대해서 수정,조언등을 AI를 활용하여 설계를 확정한다.

    그리고 그이후에는 각자의 개발영역에서는 AI의 활용은 자유롭게 활용하도록 한다.

    이것이다.

    위에 흐름을 잘정리하고 가이드화하여 모두가 따른다면,

    AI에 대한 명목적인 사용, 잘못된 사용에 대해 경계할수있고, 대세에 맞춰 잘 활용을 할수있는 환경을 만들수 있을듯하다.

    맹목적인 AI활용은 인간을 똥멍청이로 만든다는 개인적인 생각은 변함이 없지만, 체계적이고, 단계적으로 잘 정리된 가이드가 있다면,

    AI활용은 개발에 효율을 극대화 시킬수있다고 믿는다.

    뭐 개발해주세요! 라고 하면, 바로 앉아서, 이렇게 이렇게 만들어줘… 어 다됬네! 커밋! 푸시! 배포! 끝!

    이런 상황이 없어야겠다..

    월요일에.. AI 요금제 결제해야징…ㅋㅋㅋ

  • [개발생각] 성능테스트에 대해서..

    프로젝트가 마무리에 접어들었고,

    이제는 성능 테스트를 통해, 서비스가 잘 제공될수있도록 해야하는 시점이 왔다.

    먼저 성능테스트를 위한 플랜을 작성해야하는데, 아래와 같이 진행을 하려고 한다.

    1) 서비스하는 화면에서 평균적으로 호출하는 API의 갯수를 파악함 (평균 5개정도)

    2) 회원별로 API를 호출하도록 함.

    3) 내부적으로 캐시하는 데이터가 활용되지않도록, 파라미터등을 바꿀수있으면 랜덤으로 바꾸면서 캐시히트가 되지않는 방식으로 호출함.

    4) 대기열을 통한 완충되는 성능 측정

    위 4개 사항을 감안해서 테스트를 진행할 예정이고,

    특히 내부적으로 캐시하는 데이터들도 존재하기에 캐시 히트가 최대한 되지않게 하여,

    잘못된 성능지표가 나오지 않도록 주의하려고 한다.

    또한 대기열 기능을 넣었는데, 해당 대기열이 서비스 부하시 어느정도로 완충작용을 해주는지 또한 지표로 뽑으려고 한다.

    서비스를 오픈할때는 사실 경험상 예상트래픽, 예상케이스 플랜으로 된적이 없었다.

    빅테크에서 전문가라고 하는 사람들이 예측한 예상 트래픽, 그리고 그에 따른 시스템 확장을 했지만,

    한번도 맞은 적이 없었고,

    항상 장애가 났고, 이리저리 수숩하는 장면만이 생각난다.

    그만큼,  오픈당시 트래픽을 예상하고 그에 따른 인프라를 확장하는 부분은 법도.장사가 없는 영역이라고 생각한다.

    하지만 잊지 말아야할것은,

    성능테스트를 최대한 실전에 맞추면, 그나마 어렴풋하게라도 기준이 되는 지표들을 손에 넣을수있다는 것이다.

    이 지표가 상당히 중요하고, 향후 트래픽에 따른 장애시 미리 대처하는데 많은 도움을 줄수있다.

    서비스 오픈이 다가오면,

    경험에 의한 트라우마인지는 몰라도, 트래픽이 몰리고, 서비스가 죽는 상황이 무섭다.

    이 상황을 대처할수 있는 방법을 미리 생각해 두지않으면,

    그 상황이 왔을때, 사실 할수있는게 많이 없다. (서버 늘려주세요..정도?!)

    현재 프로젝트에서 성능 확장을 위해 어떤 방법을 사용했는지 정리를 해본다면..

    1) 데이터 베이스는 온라인용, 통계용으로 구분해서 구축했고, 각각의 데이터베이스도 레플리카를 두어, WRITE 쿼리는 온라인, 통계용의 마스터 데이터베이스로 호출을 하고, READ 쿼리는 각각의 레플리카 데이터베이스로 호출을 할수있게 CQRS 경계를 지키도록 했다.

    2) 레디스 캐시 서비스를 적극 활용했다.
    무겁고 자주 호출해야하지만, 자주 바뀌지않거나 실시간성이 필요하지 않은 데이터들은 캐시를 활용함으로써
    데이터베이스의 부담을 줄이도록 했다. 

    3) 레디스 캐시 조차 불필요한 경우는 로컬캐시를 활용하여, 레디스 수신의 네트워크 비용 마저 줄이도록 했다.
    로컬 메모리가 늘어나는것을 방지하기위해,  Access기준 Evict와 Time기준 Evict를 적용하였다.
    (캐시를 일정시간안에 사용하면, 캐시가 유지되고, 아니면 캐시가 삭제됨, 그리고 절대적인 만료시간으로 캐시가 삭제되도록 함) 

    4) 트래픽이 몰릴수있는 공지/이벤트성 푸시/알림등은 일정 청크로 나눠서, 시간차를 두고 전송하도록 하여, 유저의 시스템 이용 몰림이 최소화 되도록 했다.

    5) 푸시 전송 서비스에서는, 서버의 트래픽/IO/Memory/DB상태등을 포괄적으로 실시간으로 확인하면서 푸시의 속도를 능동형으로 조정하며 보낼수있는 기능을 만들었다.

    6) 대기열 기능을 구현했다.
    한번에 서비스에 사용작 몰리지 않도록, 주기적으로 서버의 상태를 감지/모니터링하여, 부하가 높아지는 시점에는 자동적으로 대기열이 앱화면으로 활성화되도록 기능을 만들었다.
    대기열이 열리면, 일정 사용자가 일정시간간격으로만 대기하면서 들어가도록 하여, 서비스의 부담을 완충할수있게 해주도록 했다.

    7) 배치는 샤드되어 동작할수있도록 구성하였다(모두는 아니지만, 중요하거나, 향후 트래픽이 많아질것으로 예상하는 배치잡 대상) 따라서 향후 트래픽이 몰리는경우, 샤드 기능으로 여러 인스턴스에서 잡을 나눠서 동작할수있게 구성했다.

    8) 외부 API호출과 데이터베이스 트랜잭션이 열리는 시점을 분리했다.
    트랜잭션 섹션안에서 API호출등 외부 연동이나 로직이 길어지게 되면, 트랜잭션을 잡고있는 시간이 늘어나게 되고 그에 따른 성능이슈가 발생하기에, 외부 API나 무거운 프로세스는 최대한 트랜잭션 밖에서 미리 처리를 하고, 처리한 값을 트랜잭션 섹션안에 가지고 와서, 처리하도록 했다.
    (커뮤니티 이미지 첨부하여 글쓰기 기능, 실거주인증 외부 연동 API 연결)

    9) 블룸필터를 통한 데이터베이스 저장하는 상황을 줄였다.
    특히 커뮤니티기능에서 좋아요/댓글수등을 데이터베이스를 사용하지 않고, 레디스 캐시의 자료구조를 사용함으로써,
    빠르게 처리가 되도록 하였다.

    위 9가지 정도를 신경쓰며, 프로젝트를 진행했다…

    이래도 죽으면, 그냥 기쁘게 서비스가 대박이 났구나!! 라고 생각하는게 맞을듯!

  • [개발아이디어] REDIS 클러스터에서 명시적 HSET 분산하기

    Redis의 HSET은 Hash 자료구조로 데이터를 저장하고 조회할수있는 명령어 셋이다.

    이 명령어를 push전송 기능을 만들때, 사용을 해야하는 케이스가 생겼다.

    HSET push_data txId “push토큰”

    ex)
    
    HSET push_data "1" "asdsadsadasd1"
    
    HSET push_data "2" "as123da44sd2"
    
    HSET push_data "3" "fresds2fdadsd3"

    간단히 이야기를 하면,

    푸시를 발송하는 기능을 만들어야하는데, 예약발송 기능을 구현해야했다.

    예약발송을 여러방법으로 구현할수있겠지만, 

    우리는 Redis의 ZSET와 HSET을 사용하여 예약발송 기능을 구현하였다.

    ZSET를 통해, 예약발송을 해야하는 시간을 SCORE로 사용하여 소팅된 리스트를 관리하고 꺼내 사용할수있게 하였고,
    VALUE로 해당 발송을 위한 정보를 찾을수있게 TXID값(유니크한 UUID)을 저장하게 했다.
    그리고 HSET을 통해, TXID로 실제 토큰정보를 가져올수있게 설계를 하였다.

    사실 ZSET만 가지고도 기능을 구현할수있었고, 처음에는 그렇게 구현을 하였지만,

    이후에 요건인 예약발송한 건에 대해 취소할수있는 기능을 구현해야했다.

    이경우에는 ZSET만 가지고는 정확히 해당건에 대해서 간단히 취소를 할수있는 구조가 아니었기때문에, 구조를 조금 변경하였다.

    여기서 이제 큰 이슈가 발생하였다!!

    ZSET을 통해 특정 시간(SCORE)안에 해당하는 TXID들을 꺼내서, HSET에서 PUSH정보를 벌크로 꺼내야하는데, 

    HSET은 Redis 클러스터 노드에서 슬롯에 포함되는 하나의 노드에 저장되고 조회할수있기에,

    HSET의 조회/저장의 부담이 하나의 노드로 몰리게 된다.

    이게 다른 서비스에서는 큰문제가 되지않겠지만, 푸시 서비스에서는 대량의 메세지 전송을 위해,

    대량의 토큰데이터를 레디스 하나의 노드의 HSET에서 읽어야하는 경우가 발생할수있기 때문에 이부분을 좀더 깊게 고민을 했다.

    고민의 포인트는,

    HSET을 레디스 클러스터 갯수와 동일한 갯수로 만들고, 각각이 노드에 하나씩만 정확히 생성되도록 하는 방법을 생각하는것이였다.

    상당히 까다로운 조건이여서, 고민이 많았다. 

    하지만, 방법을 찾았지 !!! (후후… 이런 방법을 찾아낼때가 정말 희열을 느끼는것같다. 너무나 개발이 잼있다.)

    방법은 아래와 같다.

    레디스의 슬롯의 크기를 정해져있다. 상수값이라는 말이다.

    최대 슬롯수 = 16384개

    우선 예를 통해서 설명을 하겠다. 복잡해 복잡해..

    전제조건)
    1) 레디스의 최대 슬롯의 크기 = 16384개
    2) 현재 운영하는 레디스 클러스터수 = 3대

    목표)
    HSET을 3개를 만들고, 각각의 레디스 노드에 하나씩 생성되도록 함.

    이유)
    HSET을 통한 저장/조회의 네트워크/CPU등의 레디스 노드의 부담을 여러 노드가 부담하여, 서비스의 성능/안정성을 높이기 위함.

    방법)
    1) 레디스의 최대 슬롯의 크기 / 레디스 클러스터수 결과를 통해 슬롯의 범위를 구한다.
    2) 레디스 클러스터 index기준 1번 슬롯범위의 중간값을 저장하는 map을 하나 만든다.
        – ex)
        {
           “0” : 2730,  //0 ~ 5461의 중간값
           “1” : 8191,   //5461 ~ 10922의 중간값
           “2” : 13652, //10922 ~ 16384의 중간값
        }
      3) txId를 0, 1, 2 (클러스터갯수만큼)가 분산되서 나올수있게 소트 알고리즘을 만든다.
      4) txId의 소트값으로 위 2번의 키를 통해, 들어가야하는 슬롯값을 구한다.
      5) HSET을 생성할때 TAG를 통해, 해당 슬롯값을 명시하여 HSET을 만들게 하여, 해당 슬롯값이 포함되는 노드에 생성되게 유도한다.
       – ex)
        HSET “push_data:{슬롯값}:payload” “testTxId” “1234”
        – * 정확히는 슬롯값을 직접명시하는건 아니고, 해당슬롯값이 나오도록 REDIS에서 사용하는 소트공식으로 통해 슬롯해시값을 구해서 넣는것.

    이렇게 하면, 레디스 노드별로 원하는 갯수의 HSET을 원하는 노드에 생성하고, 저장/조회하도록 하여,

    노드의 부하 분산을 할수있는 구조로 레디스 HSET을 사용할수있다.

    이런 창의적인 방법/아이디어를 챗지피티가 알려줄수있을까??

    또 한번 AI 개발설계의 무용론에 대한 생각이 나네.. ㅋㅋ

    개발 설계/이슈 해결을 위해 방법을 찾을때 만큼은… AI사용을 좀 자제하도록 하자..