카프카(Kafka) 대신 오픈데이터 버퍼(OpenData Buffer)로 비용 절감!
카프카(Kafka) 프로토콜 대신 오픈데이터 버퍼(OpenData Buffer)를 사용하여 비용을 절감하는 새로운 접근 방식 제시
오픈데이터 버퍼(OpenData Buffer)는 객체 스토리지를 활용하여 고속 데이터 버퍼링(High-throughput Data Buffering)을 구현
30MiB/s 처리 시, 오픈데이터 버퍼(OpenData Buffer)는 월 90달러, 카프카(Kafka)는 최대 8,500달러의 비용 발생
텔레메트리(Telemetry) 및 이벤트 데이터(Event Data)와 같이 엄격한 순서 보장(Strict Ordering)이 필요 없는 워크로드에 적합
오픈데이터 버퍼(OpenData Buffer) 아키텍처 분석
오픈데이터 버퍼(OpenData Buffer)는 객체 스토리지(Object Storage)를 활용하여 데이터의 고속 처리를 지원한다. 데이터 파일(Data Files)과 메타데이터(Metadata)를 분리하여 관리하며, 무상태(Stateless) 설계를 통해 각 가용 영역(Availability Zone)에서 독립적으로 운영된다. 특히, 원자적 비교-설정 연산(Atomic Compare-and-Set Operations)을 통해 메타데이터의 일관성을 유지하며, 최소 1회 전달(At-least-once Delivery)을 보장한다.
카프카(Kafka)와 오픈데이터 버퍼(OpenData Buffer)의 트레이드오프(Trade-offs)
카프카(Kafka)는 분산 시스템(Distributed System)의 복잡성을 감수하는 대신, 다양한 기능을 제공한다. 반면, 오픈데이터 버퍼(OpenData Buffer)는 단일 파일 기반 메타데이터 관리(Single File-based Metadata Management)를 통해 유연성을 희생하는 대신, 단순성을 확보했다. 특히, 참여자의 수(Number of Participants)에 따라 처리량이 제한되지만, 텔레메트리(Telemetry)와 같은 특정 워크로드에서는 충분한 성능을 제공한다.
성능 벤치마크(Benchmark) 및 비용 비교
오픈데이터 버퍼(OpenData Buffer)는 30MB/s 처리량에서 p99 지연 시간(Latency) 2초 미만을 달성했다. 객체 스토리지(Object Storage) 비용은 월 90달러 수준으로, WarpStream의 1,300달러, 자체 호스팅 카프카(Kafka)의 8,500달러에 비해 현저히 낮다. PUT, GET 요청(Request) 및 스토리지 사용량(Storage Usage)을 기반으로 비용을 계산하며, 지연 시간(Latency)과 비용 간의 균형을 조절할 수 있다.
향후 통합 및 생태계 확장 계획
오픈데이터 버퍼(OpenData Buffer)는 오픈텔레메트리(OpenTelemetry) 익스포터(Exporter)를 통해 메트릭(Metrics) 데이터를 수집하고, ClickHouse와 같은 다양한 싱크(Sink)에 데이터를 전송할 예정이다. 개발자 커뮤니티의 참여를 독려하며, 디스코드(Discord) 채널을 통해 사용 사례를 공유하고 있다. 오픈데이터(OpenData)의 일환으로 MIT 라이선스(MIT-licensed)를 통해 제공되며, 설계 RFC 및 퀵스타트(Quickstart)를 통해 사용법을 확인할 수 있다.
