SQLite로 의미 기반 검색 구현, 벡터 데이터베이스 없이!
by DD
5개월 전
조회수 40
SQLite FTS5 확장 기능을 활용하여 텍스트 검색(Text Search)과 의미 기반 검색(Semantic Search)을 결합하는 하이브리드 검색 구현
이진 임베딩(Binary Embeddings)과 해밍 거리(Hamming Distance)를 사용하여 벡터 데이터베이스 없이 유사성 검색 수행
SQLite 확장 기능을 통해 해밍 거리 계산 함수를 구현하고, BM25 랭킹(BM25 Ranking)과 상호 순위 융합(RRF)을 결합하여 하이브리드 검색 구현
100만 행 데이터셋에서 35ms의 성능을 보이며, O(n) 검색 방식(O(n) Search)의 효율성을 입증
이진 임베딩(Binary Embeddings)과 해밍 거리(Hamming Distance)의 활용
저자는 텍스트를 의미를 포착하는 수치 벡터(임베딩)로 변환하여 의미 기반 검색을 구현했다. 특히, 1024차원 임베딩을 128바이트의 이진 임베딩으로 양자화하여 저장 공간을 획기적으로 줄였다. 해밍 거리(Hamming Distance)를 유사성 측정 지표로 활용하여, 빠른 비트 연산(Bit Operations)을 통해 계산 속도를 높였다. 이는 정확도 감소라는 트레이드오프(Trade-off)를 감수하는 대신, 저장 공간과 속도 측면에서 이점을 얻기 위한 전략이다.
SQLite 확장 기능을 이용한 해밍 거리 계산 함수 구현
저자는 SQLite 확장 기능을 사용하여 해밍 거리를 계산하는 `hamming_distance` 함수를 구현했다. 이 함수는 두 개의 BLOB(Binary Large Object)를 입력받아 해밍 거리를 정수로 반환한다. 함수를 활용하여 효율적인 비트 카운팅을 수행하고, x86_64 및 ARMv8-A+ 아키텍처에서 최적의 성능을 낼 수 있도록 설계했다. 을 통해 데이터베이스 내에서 직접 해밍 거리를 계산함으로써, 외부 도구 없이 하이브리드 검색을 가능하게 했다.
