QuestDB, WINDOW JOIN 연산자 병렬 처리로 25배 성능 향상!
by DD
2개월 전
조회수 10
QuestDB는 시간 기반 데이터베이스(Time-Series Database)의 WINDOW JOIN 연산자 병렬 처리 및 SIMD(Single Instruction, Multiple Data) 벡터화를 통해 성능을 극대화함.
기존 SQL 쿼리(SQL Query)를 WINDOW JOIN 연산자로 대체하여 쿼리 단순화(Query Simplification) 및 성능 향상(Performance Improvement)을 달성함.
벤치마크 결과, 다른 데이터베이스(Timescale, DuckDB, ClickHouse) 대비 최대 25배 빠른 성능(25x Faster Performance)을 보이며, 데이터 처리 속도를 혁신함.
WINDOW JOIN 연산자 최적화: 병렬 처리 및 SIMD
QuestDB는 WINDOW JOIN 연산자(Operator)를 통해 시간 기반 데이터 처리 성능을 향상시켰다. 특히, 데이터 레벨 병렬 처리(Data-Level Parallelism)를 통해 LHS(Left-Hand Side) 테이블을 페이지 프레임(Page Frame) 단위로 분할하여 각 워커 스레드(Worker Thread)가 독립적으로 처리하도록 설계했다. 또한, SIMD(Single Instruction, Multiple Data) 벡터화(Vectorization)를 활용하여, 저 카디널리티(Low-Cardinality) 조인(Join) 시, 연속적인 메모리 버퍼(Contiguous Buffer)에 값을 복사하여 SIMD 커널(Kernel)을 적용, 평균(avg), 최소(min), 최대(max) 등의 연산을 가속화했다.
저 카디널리티 조인(Low-Cardinality Join)을 위한 고속 경로
QuestDB는 저 카디널리티 등가 조인(Low-Cardinality Equality Join)과 벡터화 가능한 집계 함수(Vectorizable Aggregate Functions)를 위해 특별한 고속 경로(Fast Path)를 구현했다. 이 경로는 RHS(Right-Hand Side) 값을 키별(Per-Key) 연속 버퍼에 복사하여 SIMD 커널이 윈도우 슬라이스(Window Slice)에 직접 적용될 수 있도록 한다. 는 AVX2를 활용하여, 8개의 double 값을 한 번에 처리하며, 메모리 접근 패턴을 최적화하여 성능을 극대화한다. 이 방식은 일반적인 쿼리보다 훨씬 빠른 성능을 제공한다.
