올리브영, AWS Batch와 Kafka로 회원 승급 자동화 성공!

기존 PL-SQL 기반의 수동 승급 작업을 AWS Batch로 전환하여 자동화했다. 구체적으로, 스케줄링 및 병렬 처리 기능을 활용하여 대규모 데이터 처리의 효율성을 높였다. 따라서 인적 리소스 절감과 휴먼 에러 감소라는 두 가지 효과를 동시에 달성했다.

기존 Oracle GoldenGate는 분당 3만 건 처리량으로 대용량 데이터 처리에 한계가 있었다. 반면 Apache Kafka는 분당 10만 건 이상 처리 가능하여 데이터 동기화 속도 3배 향상을 이뤘다. 결과적으로 마케팅 시스템 연동 시간 90% 단축 및 서비스 안정성을 확보했다.

대규모 데이터 처리 시스템 구축 시, AWS Batch와 같은 배치 처리 솔루션 도입을 고려해야 한다. 구체적으로, 데이터 검증 자동화 및 병렬 처리를 통해 작업 시간을 단축할 수 있다. 따라서 Kafka와 같은 메시지 큐를 활용하여 데이터 동기화 성능을 최적화해야 한다.