T5Gemma 2, 멀티모달과 롱 컨텍스트를 품다!
by DD
5개월 전
조회수 7
T5Gemma 2는 Gemma 3의 특징을 상속받아 멀티모달 및 롱 컨텍스트를 지원하는 인코더-디코더 모델임
Tied embeddings 및 Merged attention 방식을 통해 모델 파라미터 수를 줄여 효율성을 높임
멀티모달 성능 향상, 롱 컨텍스트 지원 강화, 140개 이상 언어 지원 등 전반적인 성능 개선
T5Gemma 2의 핵심 아키텍처
T5Gemma 2는 Tied embeddings를 통해 인코더와 디코더 간 임베딩을 공유하여 파라미터 수를 줄였다. 구체적으로 Merged attention 메커니즘을 디코더에 적용하여 셀프 어텐션과 크로스 어텐션을 통합했다. 따라서 모델 병렬 처리 능력을 향상시키고, 추론 속도 개선을 이끌어냈다.
Gemma 3 대비 성능 향상
T5Gemma 2는 멀티모달 성능을 강화하여 이미지와 텍스트를 동시에 처리할 수 있다. 128K 토큰까지 처리 가능한 롱 컨텍스트 지원은 Gemma 3보다 향상된 성능을 보여준다. 반면, 모델 크기가 커질수록 계산 복잡도 증가는 해결해야 할 과제이다.
T5Gemma 2 활용 가이드
T5Gemma 2는 다양한 플랫폼에서 사전 훈련된 체크포인트를 제공한다. Kaggle, Hugging Face, Colab 등을 통해 모델을 다운로드하고, Vertex AI를 통해 추론을 실행할 수 있다. 따라서, 개발자는 특정 작업에 맞게 모델을 후처리하여 활용할 수 있다.
