2015년 PC로 젬마(Gemma) 4를 돌려보니... 2B vs 4B 모델 성능 비교!
2015년형 구형 PC에서 젬마(Gemma) 4 모델을 실행하여 성능 벤치마크(Performance Benchmark)를 수행
Ollama를 사용하여 모델을 설치하고, 2B 및 4B 모델의 속도, 추론, 코드 생성 능력 비교
2B 모델이 속도 측면에서 우세했지만, 4B 모델은 더욱 정확한 답변(More Accurate Answers)과 구조화된 결과 제공
4B 모델은 CPU 사용량이 높고, 2B 모델은 제한된 하드웨어 환경(Limited Hardware Environment)에서 더 나은 성능을 보임
젬마(Gemma) 4 모델을 활용한 애플리케이션 개발 가능성을 확인하고, 구형 하드웨어(Old Hardware)에서도 AI 모델 활용 가능성을 제시
Ollama를 활용한 로컬 AI 모델 실행
본문에서는 Ollama를 사용하여 젬마(Gemma) 4 모델을 로컬 환경에서 실행하는 방법을 설명한다. Ollama는 모델 다운로드, 하드웨어 최적화, 모델 관리를 담당하여 사용자가 프롬프트(Prompt)에 집중할 수 있도록 돕는다.
설치: Ollama 설치 후, `ollama run gemma4:e2b` 또는 `ollama run gemma4:e4b` 명령어를 통해 모델 다운로드 및 실행
VS Code 통합: `ollama launch vscode` 명령어를 통해 VS Code Copilot Chat에서 로컬 모델 사용 가능
Ollama는 모델 관리(Model Management)를 단순화하여, 구형 하드웨어에서도 AI 모델을 쉽게 사용할 수 있도록 지원한다.
2B vs 4B 모델 성능 비교
본문은 2B 및 4B 젬마(Gemma) 4 모델의 성능을 속도, 추론, 코드 생성, 지식, 지시 따르기 등 다양한 측면에서 비교 분석한다. 2B 모델은 속도 측면에서 우세하며, 4B 모델은 더욱 정확한 답변(More Accurate Answers)을 제공한다.
속도: 2B 모델은 6.7 tokens/s, 4B 모델은 5.0 tokens/s로, 2B 모델이 더 빠른 응답 시간(Faster Response Time)을 보임
추론: 두 모델 모두 정확한 결과를 도출했지만, 4B 모델이 더욱 구조화된 설명(More Structured Reasoning) 제공
코드 생성: 2B 모델은 컴파일 오류 발생, 4B 모델은 더욱 완성도 높은 코드(More Complete Code) 생성
결과적으로, 2B 모델은 구형 하드웨어에서, 4B 모델은 더욱 정확한 답변(More Accurate Answers)을 필요로 하는 경우에 적합하다.
구형 하드웨어에서의 AI 모델 실행 제약
본문은 구형 하드웨어에서 AI 모델을 실행할 때의 제약 사항을 다룬다. 특히, 2GB VRAM을 가진 GTX 950 GPU와 24GB RAM을 가진 i5-6400 CPU 환경에서 젬마(Gemma) 4 모델을 실행하며, 하드웨어 리소스(Hardware Resources)의 한계를 보여준다.
CPU 사용량: 4B 모델은 73% (피크 85.4%)로 2B 모델(55%, 피크 65.9%)보다 높은 CPU 사용량
GPU 사용량: 두 모델 모두 낮은 GPU 사용량(12~15%)을 보이며, CPU가 대부분의 연산을 처리
RAM 사용량: 2B 모델은 6~7GB, 4B 모델은 9~10GB의 RAM 사용
이러한 제약으로 인해, 모델 선택 시 하드웨어 사양(Hardware Specifications)을 고려해야 하며, Ollama와 같은 도구를 통해 부분적인 GPU 오프로딩(Partial GPU Offloading)을 활용하여 성능을 최적화할 수 있다.
C# 코드 생성 및 LINQ 쿼리 분석
본문은 C#을 사용하여 문자열 뒤집기 및 LINQ 쿼리를 작성하는 코드를 제시하고, 2B 및 4B 모델의 코드 생성 능력을 평가한다. 2B 모델은 간단한 솔루션을 제공하지만, 4B 모델은 더욱 구조화되고 설명적인 코드(More Structured and Explanatory Code)를 생성한다.
문자열 뒤집기: 2B 모델은 간단한 솔루션, 4B 모델은 LINQ 및 Array/StringBuilder를 활용한 다양한 구현 방식(Various Implementation Methods) 제시
LINQ 쿼리: 2B 모델은 컴파일 오류 발생, 4B 모델은 더욱 완성도 높은 코드(More Complete Code) 생성
4B 모델은 코드 품질과 유지보수성 측면에서 우수하지만, 요구 사항을 벗어나는 경향이 있어, 정확한 요구 사항 준수(Accurate Requirement Adherence)가 중요하다.
구조화된 출력(JSON) 및 지시 따르기 평가
본문은 2B 및 4B 모델의 구조화된 출력(JSON) 및 지시 따르기 능력을 평가한다. 2B 모델은 엄격한 형식 준수(Strict Format Compliance)를, 4B 모델은 더욱 유연한 구조(More Flexible Structure)를 보였다.
JSON 생성: 두 모델 모두 유효한 JSON 생성, 4B 모델은 추가 설명 텍스트 포함
지시 따르기: 두 모델 모두 제한된 단어 수 및 언어 제약 조건 준수에 어려움
2B 모델은 지시 사항을 더 잘 따르지만, 4B 모델은 더욱 풍부한 정보(More Rich Information)를 제공하려는 경향을 보인다. 따라서, 정확한 형식 준수(Accurate Format Compliance)가 중요한 경우 2B 모델이, 더욱 풍부한 정보(More Rich Information)가 필요한 경우 4B 모델이 적합하다.
