Gemma 4 E2B로 브라우저에서 다이어그램을 즉시 생성!
by DD
3개월 전
조회수 36
Gemma 4 E2B 모델을 활용하여 브라우저 내에서 Excalidraw 다이어그램을 생성하는 데모가 공개됨
TurboQuant 알고리즘을 통해 모델의 메모리 사용량을 최적화하여 3GB RAM 환경에서 구동 가능
WebGPU 및 WGSL을 사용하여 GPU 가속을 구현하여 빠른 속도로 다이어그램 생성
브라우저 호환성(Browser Compatibility) 및 오픈소스 여부(Open Source)에 대한 커뮤니티의 관심이 높음
TurboQuant 알고리즘을 통한 메모리 최적화
데모는 TurboQuant 알고리즘을 사용하여 LLM의 KV 캐시를 압축함으로써 메모리 사용량(Memory Usage)을 약 2.4배 줄였다. 이를 통해 3GB RAM 환경에서도 긴 대화 내용을 처리할 수 있다. 특히, WGSL(WebGPU Shading Language)을 활용하여 GPU에서 해당 알고리즘을 구현함으로써 30+ 토큰/초의 속도를 달성했다. 이는 GPU 가속(GPU Acceleration)을 통해 LLM의 성능을 향상시킨 사례로 볼 수 있다.
WGSL 기반 GPU 가속 구현
데모는 WGSL(WebGPU Shading Language)을 사용하여 TurboQuant 알고리즘을 GPU에서 실행하도록 구현했다. WGSL은 WebGPU를 위한 셰이딩 언어로, GPU의 병렬 처리 능력을 활용하여 모델 추론 속도(Model Inference Speed)를 향상시킨다. 이 기술은 특히 브라우저 환경에서 LLM을 실행할 때 을 해결하는 데 기여한다. 하지만, WebGPU의 브라우저 호환성(Browser Compatibility)에 따라 사용 가능 여부가 제한된다.
