토스증권, 데이터 파이프라인 시각화로 운영 효율 극대화!
by DD
9개월 전
조회수 13
수천 개의 실시간 데이터 파이프라인 운영을 위해 데이터 리니지 시각화 시스템을 구축함
MongoDB와 DAG를 활용하여 파이프라인 간의 관계를 시각적으로 표현함
SLA 충족 및 확장성 확보를 위한 운영 전략 제시
DAG 기반 리니지 시각화 시스템 설계
토스증권은 데이터 파이프라인의 흐름을 시각화하기 위해 DAG(Directed Acyclic Graph)를 선택했다. 구체적으로 MongoDB를 활용하여 메타데이터를 저장하고, Graph Search 쿼리를 통해 시각화 결과를 생성한다. 따라서, 파이프라인의 종속성과 데이터 흐름을 직관적으로 파악할 수 있다.
대규모 파이프라인 운영의 핵심 요소
대규모 실시간 데이터 파이프라인 운영의 핵심은 SLA(Service Level Agreement) 준수에 있다. 따라서, Latency 최소화, 무중단 운영, 데이터 유실/중복 최소화를 위한 노력이 필요하다. 반면, 확장성을 고려한 클러스터 설계 또한 중요하며, 파이프라인 시각화는 운영 편의성을 높인다.
향후 시스템 발전 방향
토스증권은 리니지 시각화 시스템에 메트릭 연동을 통해 시스템 가시성을 높일 계획이다. 구체적으로, 각 구간별 Latency와 초당 전송량을 그래프에 표시할 예정이다. 결과적으로, SLA 준수 여부 모니터링 및 팀 간 커뮤니케이션 비용 절감을 목표로 한다.
