[개발생각] 통계 RDB -> 빅데이터DB(NOSQL) 변경 준비.

작성자

카테고리:

회사에서 에너지 사용 데이터를 준실시간으로 kafka에서 이벤트 수신을 받고,

해당 데이터를 RDB에 적재하고,

해당 적재된 준실시간 데이터를 시간단위별 (시, 날, 월) 통계를 만들어서 사용하고 있다.

결국, Kafka 수신처리와 RDB적재 처리, 그리고 통계처리 이렇게 3단계의 프로세스가 존재하는 구조이다.

이 구조에서 영 찝찝한 부분이 존재한다.

2가지 정도인데, SCALE-OUT과 프로세스 단계에 대한 고민이다.

1) SCALE-OUT 관점

결국은 RDB적재 방식을 사용함에 따라, 데이터가 늘어나게 되면, 스케일아웃이 힘들어진다.

미리 샤딩이나 클라우드 방식을 생각하지 않고 진행이된다고, 더더욱 답이 없고,

사실 RDB구조에서는 샤딩이외에는 이렇다할 방법이 없는것도 사실이긴하다..

2) 프로세스 단계의 복잡함 관점

수신하고, 데이터를 RDB에 넣는 프로세스가 병목을 발생시키거나, 관리의 복잡함을 초래한다.

단지 수신하고 단위를 변환하는 간단한 작업 + 실제 데이터를 저장하는 프로세스이기에,

이부분이 자동화 되거나, 솔류션내에서 안전하게 제공이 된다면,

그 기능을 사용하는편이 훨씬 일관되고 안전하다고 생각이 든다. 

이러한 부분때문에 고민을 하고있었는데, clickhouse카드를 다시 꺼내게되었다.

초기 프로젝트를 시작할때, 도입할까 고민을 했던 db였는데…

딱 맞는 db로 보이긴한다..

우선 clickhouse를 좋게 본 장점에 대해서 정리해본다.

1) 컬럼베이스 디비라는것이 좋았다.

– 일반적인 ROW베이스 디비 특히 RDB는 필요하지 않은 컬럼이지만, DB내부에서는 조회를 할수밖에 없다.

ROW단위로 데이터가 저장되기때문에 불필요하지만, 로드하여 조회를 하기위해서는

결국은 MEMSTORE에 데이터를 올려야하기때문이다.

– 컬럼베이스 디비는 데이터를 ROW단위로 저장하지않고, 컬럼 단위로 데이터를 저장한다.

내가 해당 컬럼만 조회하면, 해당 컬럼에 해당하는 데이터만 조회하여, MEMSTORE에 데이터를 로드한다.

그만큼 필요하지않는 데이터를 로드하고, 스캔하지않기에 더욱 시스템을 적게사용하고, 같은 범위지만 더 적은 메모리를 사용하고 빠르다. 

– 이런 방식이 예전(??) HBASE를 사용할때의 컬럼패밀리 방식과 같다는것을 알고, 기쁘면서도, HBASE의 속도를 경험했었기에, 신뢰가 가기 시작했다. HBASE는 진짜 겁나 빠르니…

2) KAFKA CONNECTOR가 빌트인 기능으로 제공한다.

– KAFKA를 많이 사용하는데, 항상 보일러플레이트하다고 느끼는 부분이 바로,

KAFFA토픽을 읽어서, 데이터를 가공하거나, 저장을 하는 프로세스들이다.

하는일이 비슷한데 매번 코드로 구현을 해야하고, 그 인스턴스를 배포하고 구동시켜야한다.

– 만약, KAFKA의 이벤트 정보를 바로 테이블에 저장해주는 기능을 DB에서 빌트인으로 제공해주면 얼마나 편할까? => clickhouse!!!

3) 이벤트 데이터를 테이블화 시키면, 정말 편해지는것 플로우의 가시성이다.

– 비동기큐를 사용할때, 항상 코드에서 가시성이 떨어지는 부분은 어쩔수없었다. 잘관리를 한다고 해도,

어디서 pub을 했고, 어디서 consumer을 하는지를 명확하게 코드의 흐름으로 나타나지는 않는다.

ddd, port adapter 패턴을 사용한다고 해도, 한눈에 보이지 않은것을 비슷하다.

이벤트 (실시간성 데이터)를 테이블화(정적인 데이터)하여 사용가능하다면,

적어도, consumer에 대한 코드의 흐름을 더 명확하게 사용하고 정리가 가능하다.

usecase등에서 시퀀스하게 코딩을 할수있으니, 흐름 파악이 상당히 쉬워진다.

4) 통계디비 버킷잡을 지원한다.

– postgresql에서 timescaledb기능을 이용하여, 통계 테이블을 bucket단위로 잡을 등록해서 통계 쿼리를 통해 데이터를 어그리게이션하는 기능을 사용했다. 이 기능 또한 비슷하게, clickhouse에서도 제공을 한다!!

udf 또한 사용이 상당히 자유로워서, custom하게 func을 만들어서, 쿼리, 통계시에 기능으로 사용할수있어서, 확장성이 뛰어나다.

개인정보를 대칭키로 암호화한 부분이 있는데, 이것도 udf를 만들어서 쿼리에서 언제든지 복호화해서 바로 조회하여 볼수있게 쿼리만으로도 사용가능하다.

(예전 HIVE, HBASE UDF사용하려면, 등록하고 배포하고, 재시작해야하고… 상당히 번거로웠는뎅 ㅠ)

이정도 장점을 정리해보고…

사실 단점도 있다..

KAFKA TO TABLE을 위해서는 테이블 구조 설계에 신경을 써야한다는것이긴한데…예전 HBASE 테이블 설계에 비하면, 사실 껌이지…

HBASE 테이블 설계는 key-value에 컬럼패밀리까지 봐야하는거라서, 참 까다로웠다.

그것에 비하면 어렵지는 않을것으로 보이긴한다.

시간이 날때마다 장점과 단점을 서베이해봐야겠다.

현재 DR, 통계, 푸시 시스템에서는 위에 장점들을 잘살리면, 획기적으로 설계를 할수있을것같다.

획기적인 설계라는건 나는 항상 심플한데 유연한 설계라고 생각하기에…

심플해질수있다!! 라고 보면 되겠다.

코멘트

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다