Spark 잡 최적화로 CDC 파이프라인 성능 UP!
by DD
11개월 전
조회수 14
Spark를 활용한 CDC 시스템에서 MySQL, Iceberg 등 다양한 데이터소스의 정합성 검사 수행
Fullscan, Keybased, Limit 등 스캔 모드별 최적화 전략과 JDBC, Iceberg API 활용
캐싱, Full Outer Join 등 최적화 기법을 통해 대용량 데이터 처리 성능 및 안정성 확보
MySQL 데이터 스캔 최적화: Fullscan, Keybased, Limit
MySQL 데이터 스캔 시 Fullscan은 `numPartitions`와 워커 수 간의 밸런스를 맞춰야 한다. Keybased는 `predicates` 옵션을 활용하여 PK 기반 부분 검사를 수행하며, coalesce를 통해 파티션 수를 조정한다. 따라서 JDBC 커넥션 부하를 줄이고, 데이터 처리 속도를 향상시킨다.
Iceberg 테이블 스캔 최적화: Fullscan, Keybased, Limit
Iceberg는 RDB와 달리 PK 기반 인덱스를 지원하지 않아, Fullscan 후 필터링 방식으로 동작한다. Keybased는 풀스캔 후 Join을 통해, Limit은 `orderBy`와 `limit`을 활용한다. 따라서 을 고려하여, 을 선택하고, 를 수행한다.
