41TB 로그를 20초 만에? 카카오페이증권의 ClickHouse 기반 로그 시스템 구축기

기존 Filebeat는 JSON 형식으로 로그를 전송하여 JSON 오버헤드(JSON Overhead)로 인해 전송량 및 Kafka CPU 사용량이 높았다. OpenTelemetry Collector는 OTLP Proto 인코딩(OTLP Proto Encoding)과 배치 전송(Batching)을 통해 이 문제를 해결했다.

결과적으로 배치 전송만으로 처리량이 18배 향상되었으며, Kafka CPU 사용량도 2배 이상 감소했다. 이러한 개선은 로그 수집 파이프라인의 효율성을 크게 향상시켰다.

기존 서비스별 Fluentd Deployment로 인해 300개 이상의 Kafka Topic이 존재하여 리소스 낭비 및 관리 복잡성이 높았다. OpenTelemetry Collector와 ClickHouse의 성능 테스트를 통해 Topic 통합 가능성을 확인하고, 로그 타입(std/nginx/transaction) 기반으로 18개 Topic으로 축소했다.

증권업 특성상 트래픽 변동성이 크므로, 20%의 자원 손실을 감수하고 장애 대응 유연성을 확보했다.

OpenSearch의 낮은 압축률, 대용량 집계 비효율, 컬럼 검색 취약성 등의 문제를 해결하기 위해 ClickHouse를 선택했다. ClickHouse는 컬럼형 저장(Column-oriented Storage), ZSTD 압축(ZSTD Compression), 벡터화 실행(Vectorized Execution)을 통해 높은 압축률과 빠른 집계 성능을 제공한다.

이러한 설계를 통해 OpenSearch 대비 78%의 비용 절감을 달성했다.

ClickHouse는 용도별 특화된 테이블 엔진을 제공하며, 이를 조합하여 각 역할에 최적화된 구조를 만들었다. Buffer, ReplicatedMergeTree, Distributed, View 엔진을 조합하여 실시간 처리, 데이터 저장, 분산 쿼리, 통합 조회를 구현했다.

Buffer 테이블의 장애를 대비하여 Kafka를 앞단에 두고, Store 테이블은 서로 다른 Zone에 Replica를 배치했다.

실시간 로그 처리 시스템 안정화 후, 장기 보관을 위해 Amazon S3로 아카이빙하는 ssak3를 개발했다. 기존 Fluentd S3 Output의 IAM Role Anywhere 미지원, 느린 처리 속도, 중복 파싱 등의 문제를 해결하기 위해 Python 기반으로 자체 개발했다.

ssak3는 워터마크 테이블을 통해 아카이빙 작업의 진행 상태를 추적하고, 실패 시 자동 재시도를 지원하여 데이터 유실을 방지한다.

기존 Signoz의 테이블 구조 고정, attributes Map 접근 제한, 커스터마이징 한계 등의 문제로 인해 ClickHouse를 직접 쿼리하는 HyperDX를 선택했다. HyperDX는 컬럼 기반 필터(Column-based Filtering)를 지원하여 빠른 검색을 가능하게 하며, 우리가 설계한 테이블 구조의 장점을 최대한 활용할 수 있다.

HyperDX와 Grafana를 병행하여 로그 검색 및 시스템 메트릭 모니터링을 수행하며, 개발 생산성을 향상시켰다.