μpack, SIMD 기반 정수 압축으로 성능 혁신!

μpack은 기존의 고정 크기 블록 방식과 달리, 가변 크기 출력 블록을 지원하여 압축률(Compression Ratio)을 향상시킨다. 특히, 정수를 여러 부분으로 나누어 각 부분에 맞는 비트 길이를 할당하는 방식을 사용한다. 이러한 접근 방식은 SIMD(Single Instruction, Multiple Data) 명령어를 효율적으로 활용하면서도, 다양한 크기의 정수를 효과적으로 압축할 수 있게 해준다. 이는 검색 엔진, 컬럼형 파일 형식, OLAP 워크로드 등에서 데이터 저장 공간 절약(Data Storage Optimization)에 기여한다.

μpack은 x86 아키텍처의 AVX2, AVX512 명령어 집합과 ARM 아키텍처의 Neon 명령어 집합을 활용하여 성능을 극대화한다. x86에서는 `pack` 계열 명령어를 사용하여 128비트 블록 단위로 데이터를 처리하고, Neon에서는 64비트 레지스터를 활용하여 데이터를 압축한다. 이러한 아키텍처별 최적화는 하드웨어의 특성을 최대한 활용하여 압축 및 해제 속도(Compression/Decompression Speed)를 향상시키는 데 기여한다. 특히, AVX512는 더 넓은 레지스터를 활용하여 성능 향상을 이끌어낸다.

벤치마크 결과에 따르면, x86 아키텍처에서 μpack은 전반적으로 성능 향상(Performance Improvement)을 보였으며, 특히 AVX512를 지원하는 환경에서 두드러진 성능 향상을 나타냈다. ARM 아키텍처에서는 Neon 구현이 simdcomp에 근접하는 성능을 보였다. 이러한 결과는 μpack이 다양한 하드웨어 환경에서 효율적인 정수 압축(Efficient Integer Compression)을 제공함을 시사한다. 하지만, Apple Silicon의 Neon 구현에서는 성능 저하가 발생했는데, 이는 향후 개선될 여지가 있다.

μpack은 성능 향상을 위해 다양한 코드 최적화 기법을 사용한다. 특히, LUT(Look-Up Table)를 활용하여 분기문을 제거하고, SIMD 명령어를 사용하여 병렬 처리를 극대화한다. 예를 들어, 5-비트 정수를 압축하는 경우, AVX512 명령어 집합을 사용하여 64개의 32비트 정수를 효율적으로 압축한다. 이러한 최적화는 코드의 실행 속도(Execution Speed)를 높이고, 전반적인 성능을 향상시키는 데 기여한다. 또한, 코드 가독성을 유지하면서 성능을 개선하는 데 중점을 둔다.

μpack은 가변 크기 블록 압축을 통해 압축률을 높였지만, 여전히 몇 가지 한계점을 가지고 있다. 예를 들어, Neon 구현에서는 simdcomp에 비해 성능이 다소 낮게 나타났다. 하지만, ARM 기반 CPU의 발전과 SVE2와 같은 새로운 명령어 집합의 도입을 통해 이러한 격차는 좁혀질 것으로 예상된다. 또한, μpack은 향후 더 많은 최적화와 개선을 통해 정수 압축 분야(Integer Compression Field)에서 더욱 강력한 경쟁력을 확보할 것으로 기대된다.