구글 Gemma 4, 애플 실리콘에서 미친 성능!

발표자는 2B, 8B, 20B, 70B 파라미터 모델의 성능을 토큰당 처리 시간 기준으로 비교 분석함. 2B 모델은 8ms/token, 8B 모델은 14ms/token, 20B 모델은 30ms/token으로, 모델 규모가 커질수록 처리 시간은 늘어나지만 전반적인 효율성은 유지됨을 보여줌. 특히 2B 모델은 48GB 메모리 환경에서 128K 컨텍스트를 처리할 수 있어, 모바일 및 엣지 디바이스에서의 활용 가능성을 높임.

실제 테스트는 M5 Pro 16GB RAM, M4 Pro 64GB RAM이 탑재된 맥북프로 및 맥미니에서 진행되었으며, 114K 토큰의 긴 텍스트를 입력하여 모델의 컨텍스트 처리 능력을 검증함. 2B 모델은 50초, 8B 모델은 1분 40초가 소요되었고, 이는 긴 문서 요약이나 복잡한 질의응답과 같은 작업에서 모델의 실용성을 보여주는 결과임. 발표자는 MLX 캐싱 전략이 이러한 성능 향상에 기여한다고 설명함.

영상은 애플 실리콘의 뉴럴 엔진(Neural Engine) 및 GPU 성능을 최대한 활용하기 위한 MLX 프레임워크의 중요성을 부각함. MLX는 애플 하드웨어에 최적화된 연산 라이브러리로, 개발자들이 복잡한 AI 모델을 쉽게 배포하고 실행할 수 있도록 지원함. 발표자는 M4 Pro 맥미니에서 2B 모델을 70 토큰/초, M5 Pro 맥북프로에서 150 토큰/초를 달성하는 등, 애플의 자체 AI 생태계 강화와 함께 Gemma 4 모델의 온디바이스 추론 성능이 크게 향상되었음을 시사함.