올리브영, OGG/Kafka 기반 CDC 전환으로 실시간 마케팅 혁신!
by DD
6개월 전
조회수 36
ODI 기반 배치 시스템의 한계로 인해 데이터 지연 및 고객 타겟팅 오류 발생
OGG와 Kafka를 활용한 CDC 아키텍처 구축, 실시간 데이터 동기화 구현
Retry, DLT, 복구 배치를 통해 데이터 정합성을 보장하고 고객 경험 향상 달성
OGG 기반 CDC 아키텍처 심층 분석
올리브영은 OGG 커넥터를 활용하여 Oracle DB의 트랜잭션 로그를 실시간으로 캡처한다. Kafka Connect를 통해 캡처된 데이터를 Kafka로 전송하여 실시간 데이터 파이프라인을 구축했다. 따라서 데이터 지연 시간을 최소화하고, 고객 행동 변화에 즉각 대응할 수 있게 되었다.
하이브리드 아키텍처의 장단점
OGG 커넥터와 Campaign-Worker의 하이브리드 아키텍처는 OGG의 안정성과 Campaign-Worker의 유연성을 결합했다. 1:1 매핑 제약과 복잡한 비즈니스 로직을 처리하기 위해 하이브리드 방식을 선택했다. 반면, 메시지 순서 문제는 Retry, DLT, 복구 배치를 통해 해결했다.
실시간 데이터 파이프라인 구축을 위한 전략
실시간 데이터 파이프라인 구축 시 데이터 정합성 확보가 핵심이다. Retry 메커니즘을 통해 일시적인 지연 문제를 해결하고, DLT를 통해 메시지 유실을 방지한다. 복구 배치를 통해 최종적으로 데이터 누락을 방지하여, 데이터 무결성을 보장한다.
