메시지 큐, 태스크 큐, 메시지 브로커, 헷갈리는 개념, 명확히 정리!

메시지 큐(Message Queue), 태스크 큐(Task Queue), 메시지 브로커(Message Broker)의 개념 혼동에 대한 문제 제기

Kafka는 분산 로그(Distributed Log)로 시작했지만, 브로커 및 큐로 사용되며 혼란을 야기함

Redis는 단순 큐와 브로커 역할을 모두 수행하여, Celery와 함께 혼란을 가중시킴

RabbitMQ와 SQS는 메시지 브로커, Celery는 태스크 큐로 사용되며, 각 시스템의 보장 수준(Guarantee Level)에 따라 선택해야 함

Kafka의 역할 모호성 및 문제점

커뮤니티에서는 Kafka가 분산 로그(Distributed Log)로 시작했지만, 브로커(Broker)와 큐(Queue)로 동시에 사용되면서 혼란을 야기한다고 지적한다. 특히 Consumer Group Semantics와 Competing Consumers 간의 충돌, Log Compaction과 TTL(Time to Live), Retention-based Replay와 DLQ(Dead Letter Queue) 간의 불일치로 인해 문제 발생 가능성이 높다고 언급한다. 이러한 혼란은 시스템 장애 시 더욱 심각한 문제로 이어진다.