Gemma 4, MTP Drafters로 추론 속도 3배 향상!
by DD
2개월 전
조회수 12
Gemma 4 모델에 Multi-Token Prediction(MTP) Drafters를 도입하여 추론 속도를 최대 3배 향상시킴
Speculative Decoding 아키텍처를 활용하여, 품질 저하 없이 지연 시간(Latency)을 줄임
커뮤니티에서는 llama.cpp 등 기존 프레임워크와의 통합 및 하드웨어(Hardware) 최적화에 대한 기대가 높음
NVIDIA RTX PRO 6000 등 특정 하드웨어 환경에서의 성능 향상에 대한 긍정적 평가가 존재함
MTP Drafters의 기술적 원리
Gemma 4에 도입된 MTP Drafters는 Speculative Decoding 방식을 활용하여 추론 속도를 향상시킨다. 이는 기존의 단일 토큰 생성 방식과 달리, 경량화된 Drafter 모델이 여러 개의 토큰을 미리 예측하고, Target 모델이 이를 병렬적으로 검증하는 방식으로 작동한다. 이러한 구조는 메모리 대역폭(Memory Bandwidth) 병목 현상을 완화하여, 특히 소비자용 하드웨어(Consumer-grade Hardware)에서 유의미한 성능 향상을 이끌어낸다.
성능 향상 및 하드웨어 최적화
MTP Drafters는 다양한 하드웨어 환경에서 성능 향상을 보이며, 특히 NVIDIA RTX PRO 6000에서 유의미한 속도 개선을 보였다. 또한, Apple Silicon 환경에서는 를 늘려 최대 2.2배의 속도 향상을 달성했다는 보고가 있다. 이러한 하드웨어 최적화는 및 를 통해 이루어지며, 모델의 정확도를 유지하면서도 추론 속도를 높이는 데 기여한다.
