토스증권, Kafka 로그 분석으로 MSA 가시성 확보!
by DD
10개월 전
조회수 27
Kafka Broker request log를 활용하여 MSA 환경에서 Kafka Client와 Broker 간의 연결 관계를 실시간으로 파악함
METADATA API의 주기적 호출을 활용, 100% 커버리지를 확보하고 ClickHouse를 통해 데이터 분석 및 시각화
ClickHouse Materialized View를 사용하여 삼중 Join의 복잡성을 해결하고, Lineage 서비스에 통합하여 운영 편의성을 향상시킴
Kafka Broker Request Log 분석의 핵심
토스증권은 Kafka Broker request log를 분석하여 MSA 환경의 가시성을 확보했다. 구체적으로, METADATA API를 활용하여 Kafka Client의 연결 정보를 수집하고, ClickHouse에 적재하여 분석했다. 따라서 실시간 연결 현황 파악 및 장애 대응 능력을 향상시켰다.
