시계열 데이터 집계, 2배 빨라진 비결은?

게시물에서는 타일링(Tiling) 기법을 사용하여 메모리 사용량을 최적화하는 방법을 설명한다. 열 기반 변환(Columnar Transpose)을 통해 L1 캐시(L1 Cache) 효율성은 개선되었지만, 전체 데이터를 한 번에 변환하는 방식은 L2, L3 캐시(L2, L3 Cache)를 초과하는 메모리 사용량을 야기할 수 있다. 이를 해결하기 위해 데이터를 작은 타일(tile) 단위로 나누어 처리함으로써, 메모리 사용량(Memory Usage)을 줄이고 캐시 효율성(Cache Efficiency)을 높인다.

게시물에서는 열 기반 실행(Columnar Execution)의 장점을 설명하면서, 왜 데이터를 열 기반으로 저장하지 않는지에 대한 의문을 제기한다. 열 기반 저장소(Columnar Storage)는 각 시계열 데이터(series)에 대한 별도의 열(column)을 필요로 하므로, 인덱스 관리의 어려움이 있다. 대신, 타임스탬프(timestamp)와 값(value)을 분리하여 저장하는 방식을 사용하며, 쿼리 실행 시 필요한 열 기반 레이아웃을 동적으로 생성하여 쿼리 성능(Query Performance)을 최적화한다.