브라우저에서 7MB 임베딩 모델 실행!
7MB 크기의 임베딩 모델(Ternlight)이 브라우저에서 API 호출 없이 실행됨
Rust → WASM 컴파일 및 삼진 양자화(Ternary Quantization) 기술로 모델 경량화 달성
온디바이스 검색(On-device Search)으로 프라이버시 강화 및 빠른 응답 속도 제공
대규모 언어 모델(LLM)과 달리 텍스트 벡터 변환에 특화되어 활용 범위 논의 중
온디바이스 임베딩 모델의 기술적 구현
개발자는 Rust로 추론 엔진(Inference Engine)을 직접 구현하고, 삼진 양자화(Ternary Quantization) 기법을 적용하여 모델 크기를 7MB(@ternlight/base) 및 5MB(@ternlight/mini)까지 줄였다고 설명합니다. 이를 WebAssembly(WASM) SIMD를 통해 브라우저에서 효율적으로 실행 가능하게 만들었습니다. 결과적으로 API 의존성 없이 수 밀리초(ms) 내에 텍스트 임베딩 벡터를 생성하는 것이 가능해졌습니다.
프라이버시 및 성능 측면에서의 이점
커뮤니티에서는 데이터 미저장 정책(Zero-Retention Policy)을 갖춘 온디바이스 모델이 사용자 프라이버시를 강화한다는 점에 주목합니다. 특히 민감한 정보를 다루는 서비스에서 서버 통신 없이 검색 기능을 제공할 수 있다는 점이 장점으로 언급됩니다. 또한, 수 밀리초(ms) 수준의 빠른 응답 속도는 사용자 경험을 크게 향상시킬 수 있다는 긍정적인 평가가 지배적입니다.
잠재적 악용 및 보안 우려
일부 사용자는 웹사이트가 사용자 동의 없이 백그라운드에서 모델을 다운로드하고 CPU를 과도하게 사용하여 팬 소음이 발생하거나, 잠재적으로 악성 코드를 배포하는 데 사용될 수 있다는 우려를 제기합니다. 특히 자동 다운로드 방식에 대한 비판이 있으며, 이는 브라우저 메모리 과다 사용 및 보안 문제로 이어질 수 있다는 지적입니다.
유사 프로젝트 및 확장 가능성 논의
Hugging Face의 MPNet, MiniLM 모델을 Transformers.js와 Pyodide를 통해 브라우저에서 실행한 사례가 공유되었습니다. 또한, DuckDB의 HNSW 검색과 결합하여 분산 검색 생태계를 구축하거나, HTTP Range Queries를 활용하는 방안 등 다양한 확장 가능성이 논의되었습니다. 이는 데이터 격리 아키텍처(Data Isolation Architecture)를 기반으로 한 새로운 검색 서비스의 가능성을 시사합니다.
