VictoriaMetrics 내부 구조 완벽 분석

스크래핑(Scraping): 설정된 타겟으로부터 주기적으로 메트릭을 수집하며, 병렬 스크래핑(Parallel Scraping)을 통해 처리량을 높인다.

Remote Write: 수집된 메트릭을 vminsert로 효율적으로 전송하며, 배치 처리(Batch Processing)와 재시도 로직을 통해 데이터 유실을 최소화한다.

필터링 및 라벨 관리: 수집 단계에서 불필요한 메트릭을 필터링하고 라벨을 재구성하여 저장 공간 및 쿼리 성능을 최적화할 수 있다.

리던던트 데이터 삽입(Redundant Data Insertion): 여러 vmstorage 노드에 동일한 데이터를 저장하여 데이터 가용성(Data Availability) 및 내결함성(Fault Tolerance)을 보장한다.

데이터 분산 알고리즘: 수집된 메트릭의 라벨(Label)을 기반으로 해싱(Hashing) 또는 라운드 로빈(Round Robin) 방식을 사용하여 데이터를 여러 vmstorage 노드에 고르게 분산시킨다.

쓰기 경로 최적화(Write Path Optimization): 데이터 압축 및 직렬화(Serialization)를 통해 네트워크 대역폭(Bandwidth) 사용량을 줄이고 삽입 속도를 향상시킨다.

독자적인 스토리지 포맷: 시계열 데이터의 특성을 고려한 컬럼 기반(Columnar) 스토리지와 고도의 압축 알고리즘을 사용하여 디스크 사용량을 획기적으로 줄인다.

데이터 파티셔닝(Data Partitioning): 시간 기반 및 라벨 기반으로 데이터를 분할하여 저장함으로써 쿼리 시 불필요한 데이터 스캔을 최소화한다.

메모리 캐싱(Memory Caching): 자주 접근되는 데이터나 인덱스 정보를 메모리에 캐싱하여 쿼리 응답 속도를 향상시킨다.

분산 쿼리 처리: 클라이언트의 쿼리 요청을 받아 모든 관련 vmstorage 노드에 쿼리를 분산시키고, 결과를 취합하여 반환한다.

쿼리 최적화: 인덱스 활용, 데이터 필터링, 집계 함수 최적화 등을 통해 복잡한 쿼리도 빠르게 처리할 수 있도록 설계되었다.

PromQL 호환성: Prometheus의 쿼리 언어인 PromQL을 완벽하게 지원하여 기존 Prometheus 사용자들의 마이그레이션 장벽을 낮춘다.

Best Case: 고성능 디스크(NVMe SSD), 충분한 메모리, 최적화된 네트워크 환경에서 대량의 메트릭을 낮은 지연 시간으로 처리할 때 최고의 성능을 발휘한다. 특히 vmagent의 Remote Write 배치 크기 최적화가 중요하다.

Worst Case: 저사양 하드웨어, 느린 디스크 I/O, 비효율적인 쿼리 패턴(예: 전체 데이터 범위 스캔)은 심각한 성능 저하를 야기할 수 있다. 또한, 과도한 라벨 수(Cardinality)는 vmstorage의 메모리 사용량을 급증시켜 병목 현상을 초래할 수 있다.