로컬 LLM 벤치마크 도구 'whichllm', 당신의 하드웨어에 맞는 LLM을 찾아보세요!
by DD
2개월 전
조회수 4
'whichllm'은 사용자의 하드웨어(GPU/CPU/RAM)를 자동 감지하여 HuggingFace에서 제공하는 로컬 LLM 모델을 벤치마크 기반으로 랭킹을 매김
콴타이제이션(Quantization)별 품질 손실을 명확히 보여주는 점과 최신 모델을 반영하는 점에 대해 긍정적인 평가를 받음
웹사이트 형태의 접근성(Accessibility), 긴 컨텍스트 길이 지원, 정확한 벤치마크, 다양한 콴타이제이션(Quantization) 지원에 대한 요구가 제기됨
brew 설치 오류, 오래된 모델 추천, VRAM 추정 방식에 대한 정확성(Accuracy)에 대한 의문이 제기됨
벤치마크 기반 랭킹 시스템의 장점
본 도구는 단순히 모델 크기(Model Size)가 아닌, 실제 벤치마크 결과를 기반으로 LLM을 랭킹하여 최적의 모델 선택(Optimal Model Selection)을 돕는다. 특히, LiveBench, Artificial Analysis, Aider 등 다양한 벤치마크 소스를 통합하여 신뢰도(Reliability)를 높였다. 또한, 최신 모델을 우선시하고, 콴타이제이션(Quantization)에 따른 품질 저하를 시각적으로 보여주는 점이 특징이다.
VRAM 추정 및 컨텍스트 길이 문제
커뮤니티에서는 VRAM 추정 방식과 컨텍스트 길이(Context Length)에 대한 정확성에 대한 의문을 제기했다. 특히, 슬라이딩 윈도우 어텐션(Sliding Window Attention)을 사용하는 모델의 경우, 고정된 컨텍스트 크기 기반의 VRAM 추정은 부정확할 수 있다는 지적이다. 정확한 메모리 사용량 예측(Memory Usage Prediction)은 로컬 LLM 실행의 핵심 요소이므로, 개선이 필요하다.
