FMS, Kafka와 NoSQL로 주행 이벤트 파이프라인 대폭 개선!

초기 파이프라인은 RDB를 활용하여 데이터 순서를 보장했지만, 배치성 작업으로 인해 리소스 낭비가 발생했다. Kafka와 NoSQL을 도입하여 실시간 이벤트 처리를 구현했다. 따라서 이벤트 기반 아키텍처로 전환하여 확장성과 안정성을 확보했다.

Kafka는 대량의 IoT 데이터를 안정적으로 처리하기 위해 선택되었다. NoSQL은 비동기 처리와 수평적 확장에 유리하여, 데이터 처리량 증가를 목표로 도입되었다. 반면, 기존 RDB는 스케일 아웃에 어려움이 있었다.

분산 환경에서 데이터 유실을 방지하기 위해 Check-In & Check-Out 개념을 도입했다. 구체적으로, Check-In Expire 정책과 멱등성 있는 설계를 통해 데이터 정합성을 보장했다. 결과적으로, 파이프라인 중단 시에도 빠르게 복구할 수 있게 되었다.