상품 데이터 파이프라인, Debezium과 MSK Connect로 구축!

MSA 전환 과정에서 데이터 동기화를 위해 Debezium CDC를 도입함

Oracle, MySQL, Aurora 등 다양한 DB를 지원하며, MSK Connect를 활용

MSK Connect를 통해 실시간 데이터 캡처 및 데이터 파이프라인 구축

Debezium CDC 아키텍처 심층 분석

Debezium은 DB의 트랜잭션 로그를 분석하여 데이터 변경 사항을 실시간으로 캡처한다. Source Connector는 변경 사항을 MSK로 전송하고, Sink Connector는 데이터를 타겟 DB에 적재한다. 따라서 데이터 일관성을 유지하면서 MSA 환경에서 데이터 동기화를 구현한다.

MSK Connect 설정 및 운영 노하우

MSK Connect에서 Debezium Connector를 사용하기 위해선 플러그인 생성이 필수적이다. Oracle의 경우, Logminer 설정을 통해 CDC를 구성해야 한다. 반면, MySQL은 binlog 설정을 확인해야 한다. 결과적으로, 각 DB별 커넥터 설정을 꼼꼼히 확인해야 데이터 손실을 방지할 수 있다.

데이터 파이프라인 구축 시 고려사항

MSK Connect를 활용하여 데이터 파이프라인을 구축할 때, 토픽 설정과 SMT(Single Message Transformation) 설정을 신중하게 해야 한다. Before/After 데이터를 활용하여 데이터 변경 내역을 추적하고, ChangedFields를 통해 수정된 필드를 파악한다. 따라서, 데이터 무결성을 확보하고 데이터 분석에 활용할 수 있다.