네이버페이, Flink 기반 CDC 시스템으로 연간 수십조 데이터 무중단 처리!

nBase-cdc가 MySQL binlog를 읽어 Kafka로 발행하면, ergate의 Flink job이 이를 소비하여 Target DB에 반영한다. 구체적으로, JDBC Sink를 확장하여 DynamicBatchSize를 구현, I/O 병목을 해결했다. 따라서 1초 내 복제 보장 및 고가용성을 확보했다.

ergate와 mig-data의 중복 복제를 통해 무중단 전환을 달성했다. 자동 복구 기능을 구현하여 장애 발생 시에도 데이터 유실을 방지했다. DDL 실행 순서 의존성 제거를 위해 칼럼 캐싱 전략을 사용, 스키마 변경에 유연하게 대응했다.

성능 개선을 위해 객체 직렬화 최적화, 데이터 스큐 분산, Flink JdbcSink 확장을 수행했다. AsyncDataStream을 활용하여 검증 성능을 향상시켰다. 결과적으로, 기존 대비 10배 이상 QPS 처리가 가능해졌으며, 레이턴시 감소를 달성했다.