Netflix, 실시간 분산 그래프 구축 비법 공개!
by DD
8개월 전
조회수 21
Netflix는 다양한 서비스 확장에 따라 실시간 분산 그래프(RDG)를 구축함
Kafka를 통해 데이터 수집, Apache Flink를 활용하여 실시간 데이터 처리
단일 Flink Job의 한계를 극복하기 위해 Kafka Topic 1:1 Flink Job 매핑 전략 채택
실시간 데이터 파이프라인 아키텍처
Kafka는 API Gateway를 통해 유입되는 데이터를 처리하는 핵심 컴포넌트이다. Avro 형식으로 인코딩된 데이터를 Flink Job이 소비하며, Iceberg를 활용하여 데이터 백필을 지원한다. 따라서 데이터 스트림 처리를 위한 안정적인 기반을 마련한다.
Flink Job 최적화 전략
초기에는 단일 Flink Job으로 모든 데이터를 처리하려 했으나, 병목 현상 발생 및 튜닝의 어려움이 있었다. Kafka Topic과 Flink Job을 1:1 매핑하여 각 Job별로 독립적인 를 가능하게 했다. 결과적으로 을 높였다.
