객체 스토리지 기반 시계열 DB, 비용 절감과 운영 간소화!

오픈데이터 타임시리즈(OpenData Timeseries)는 객체 스토리지(Object Storage)를 기반으로 구축되어, 기존 TSDB의 복잡한 데이터 격리 아키텍처(Data Isolation Architecture) 문제를 해결한다. 특히, 쓰기(Write)와 쿼리(Query) 서버를 분리하여, 쓰기 성능을 쉽게 확장할 수 있도록 설계되었다. Stateless Writer는 Prometheus Remote Write, OTLP 등을 통해 데이터를 수집하고, Reader는 객체 스토리지에서 데이터를 캐싱하여 쿼리 성능을 향상시킨다.

오픈데이터 타임시리즈(OpenData Timeseries)는 330만 개의 액티브 시리즈(Active Series)에 대해 월 500달러의 컴퓨팅 비용으로 4.7B 샘플/일(Samples/Day)을 처리할 수 있다. 이는 Amazon Managed Prometheus, Grafana Cloud 등 관리형 서비스(Managed Service) 대비 현저히 낮은 비용이다. 벤치마크 결과(Benchmark Results)에 따르면, 오픈데이터 타임시리즈(OpenData Timeseries)는 관리형 서비스 대비 최대 90% 비용 절감(Cost Reduction) 효과를 제공한다.

오픈데이터 타임시리즈(OpenData Timeseries)는 객체 스토리지에 최적화된 LSM 트리(Log-Structured Merge Tree)인 SlateDB를 사용한다. LSM 트리(LSM Tree)는 작은 쓰기를 메모리에 모아 대용량의 불변 파일(Immutable Files)로 플러시(Flush)하고, 백그라운드에서 압축(Compaction)을 수행한다. 이러한 구조는 고성능 데이터 수집(High-Volume Ingestion)과 효율적인 쿼리 성능을 가능하게 하며, 객체 스토리지의 장점을 극대화한다.

쿼리 지연 시간(Query Latency)은 데이터가 캐시에 있는지 여부에 따라 달라진다. Warm Query는 캐시에서 데이터를 가져오므로 지연 시간이 짧지만, Cold Query는 객체 스토리지에서 데이터를 읽어와야 하므로 지연 시간이 길다. 오픈데이터 타임시리즈(OpenData Timeseries)는 SlateDB의 블록 캐시(Block Cache)를 활용하여 Warm Query 성능(Performance)을 향상시키고 있다. 향후 메타데이터 워밍(Metadata Warming), 병렬 처리(Parallelism) 등을 통해 Cold Query 성능(Performance)을 개선할 예정이다.