Kafka Connect 트러블슈팅: PostgreSQL to ES 데이터 파이프라인 구축 노하우 공개!
by DD
9개월 전
조회수 19
Debezium의 PostgreSQL Disk Full 문제 해결을 위해 heartbeat 설정을 추가함
LSN 유실 문제를 해결하고자 SnapshotQuery SPI를 구현하여 데이터 유실 방지를 구현함
ES Sink Connector의 Transforms를 직접 구현하여 ES 인덱스 유연성을 확보하고 도큐먼트 버전 관리를 개선함
Debezium을 활용한 CDC 파이프라인 구조
Debezium은 PostgreSQL WAL을 기반으로 변경 사항을 캡처하여 Kafka로 전송한다. 따라서 heartbeat 설정을 통해 변경 사항이 없는 경우에도 LSN을 갱신하여 Disk Full 문제를 해결한다. 구체적으로, heartbeat 메시지를 주기적으로 전송하여 PostgreSQL Slot의 LSN을 업데이트한다.
