토스증권, Kafka 로그 분석으로 MSA 가시성 확보!
Kafka Broker request log를 활용하여 MSA 환경에서 Kafka Client와 Broker 간의 연결 관계를 실시간으로 파악함
METADATA API의 주기적 호출을 활용, 100% 커버리지를 확보하고 ClickHouse를 통해 데이터 분석 및 시각화
ClickHouse Materialized View를 사용하여 삼중 Join의 복잡성을 해결하고, Lineage 서비스에 통합하여 운영 편의성을 향상시킴
Kafka Broker Request Log 분석의 핵심
토스증권은 Kafka Broker request log를 분석하여 MSA 환경의 가시성을 확보했다. 구체적으로, METADATA API를 활용하여 Kafka Client의 연결 정보를 수집하고, ClickHouse에 적재하여 분석했다. 따라서 실시간 연결 현황 파악 및 장애 대응 능력을 향상시켰다.
ClickHouse MView를 활용한 데이터 처리
토스증권은 ClickHouse Materialized View(MView)를 사용하여 삼중 Join의 복잡성을 해결했다. 구체적으로, METADATA API request log, Consumer Group Lag metric, conntrack 데이터를 Join하여 service_graph 테이블을 생성했다. 결과적으로, 데이터 분석 속도를 높이고 Lineage 서비스 통합을 용이하게 했다.
MSA Observability 구축을 위한 실전 가이드
MSA 환경에서 Kafka Observability를 구축하기 위해 Kafka Broker request log 분석을 시작하라. 구체적으로, METADATA API를 활용하여 100% 커버리지를 확보하고, ClickHouse와 같은 분산 데이터베이스를 활용하여 분석하라. 따라서 서비스 안정성을 높이고 문제 해결 시간을 단축할 수 있다.
