Kafka 대신 RDB? 장시간 비동기 작업, Task Queue로 해결!
by DD
7개월 전
조회수 24
Kafka의 5분 타임아웃 문제로 중복 엑셀 발송 이슈 발생
RDB 기반 Task Queue 아키텍처로 전환하여 작업 유실 방지 및 안정성 확보
Heartbeat 갱신, 재시도 처리, 분산 락 적용으로 시스템 복잡도 감소
Kafka의 한계와 RDB Task Queue의 등장
기존 Kafka 기반 엑셀 생성 시스템은 Consumer 타임아웃으로 인한 중복 메시지 처리 문제를 겪었다. 구체적으로, 30분 이상 소요되는 작업이 Kafka 리밸런싱을 유발하여 문제가 발생했다. 따라서 RDB 기반 Task Queue로 전환하여 작업 유실 방지 및 안정성을 확보했다.
RDB Task Queue 아키텍처 심층 분석
는 갱신, , 을 활용하여 안정성을 높였다. 구체적으로, 는 3초마다 을 조회하고, 으로 작업을 선점한다. 따라서 시에도 가 가능하다.
