올리브영, Kafka 메시지 중복/유실 문제 해결 노하우 공개!
by DD
1년 전
조회수 16
올리브영 OMS 프로젝트에서 Kafka를 활용하여 물류 시스템을 전면 개편함
Producer/Consumer 간 통신 문제로 인한 메시지 중복/유실 케이스 분석
acks=all, enable.idempotence=true 설정 및 CooperativeSticky 전략으로 안정성 확보
Kafka 메시지 전송 과정 심층 분석
Producer와 Broker 간, Consumer와 Broker 간 통신 과정에서 메시지 유실 및 중복이 발생한다. acks=all 설정과 enable.idempotence=true 옵션을 통해 메시지 중복을 방지한다. 따라서, 안정적인 메시지 처리를 위해 세심한 설정이 필요하다.
Exactly-once 보장을 위한 설정 비교
Kafka의 Exactly-once 보장은 설정 난이도가 높지만, At least once 방식보다 높은 안정성을 제공한다. 설정은 을 막고, 의 설정을 통해 중복 Consume을 방지한다. 반면, 전략은 문제를 해결한다.
