AI 모델, 메모리 효율성을 극대화하는 TurboQuant 기술 등장!
by DD
3개월 전
조회수 4
고차원 벡터(High-dimensional Vectors)의 메모리 사용량 문제를 해결하기 위해 TurboQuant, QJL, PolarQuant 압축 기술을 개발
키-값 캐시(Key-Value Cache) 병목 현상 완화 및 벡터 검색(Vector Search) 속도 향상에 기여
오픈소스 LLM(Gemma, Mistral)을 활용한 벤치마크에서 메모리 사용량 6배 이상 절감 및 성능 유지 확인
Google, KAIST, NYU 연구진의 협업으로 개발되었으며, 검색 및 AI 분야에 파급 효과 기대
TurboQuant의 핵심 기술: PolarQuant와 QJL
TurboQuant는 PolarQuant와 QJL 두 가지 핵심 기술을 활용하여 고차원 벡터 압축을 수행한다. PolarQuant는 데이터를 극좌표계로 변환하여 메모리 오버헤드를 줄이고, QJL은 Johnson-Lindenstrauss Transform을 사용하여 데이터의 본질적인 거리를 보존하면서 각 벡터를 단일 부호 비트(+1 또는 -1)로 축소한다. 특히 QJL은 데이터 격리 아키텍처(Data Isolation Architecture)를 통해 정확도를 유지하면서 메모리 사용량을 최소화한다.
벤치마크 결과 및 성능 분석
TurboQuant는 LongBench, Needle In A Haystack, ZeroSCROLLS, RULER, L-Eval 등 다양한 벤치마크에서 우수한 성능을 입증했다. 특히, 키-값(KV) 메모리 사용량을 6배 이상 줄이면서도 기존 LLM(Gemma, Mistral)과 동등한 수준의 성능을 유지했다. 또한, 4-bit TurboQuant는 H100 GPU에서 32-bit 비압축 키보다 최대 8배 빠른 속도를 보이며, 분야에서 1@k recall ratio를 향상시켰다.
