4000억 파라미터 희소 MoE 모델 Trinity Large, 오픈소스 AI 경쟁에 불을 지피다!
by DD
5개월 전
조회수 26
Trinity Large는 4000억 파라미터의 희소 MoE(Mixture of Experts) 모델로, 130억 개의 활성 파라미터를 사용하며, 2048개의 Nvidia B300 GPU에서 33일 만에 훈련됨.
오픈소스 모델로, 다양한 벤치마크에서 경쟁 모델과 유사하거나 더 나은 성능을 보이며, 특히 수학, 코딩, 과학적 추론 분야에서 강점을 보임.
모델 훈련에 17조 개의 토큰을 사용했으며, 8조 개 이상의 합성 데이터(Synthetic Data)를 포함하여 데이터 품질에 대한 논의가 있음.
오픈라우터(OpenRouter)를 통해 무료로 사용 가능하며, 코딩 에이전트(Coding Agents)에서 잠재력을 보이며, 상용화 및 수익 모델에 대한 질문이 제기됨.
희소성(Sparsity) 기반의 효율적인 모델 아키텍처
Trinity Large는 토큰당 130억 개의 활성 파라미터를 사용하는 4000억 파라미터의 희소 MoE 모델이다. 이러한 희소성(Sparsity)은 2048개의 Nvidia B300 GPU에서 33일 만에 훈련을 가능하게 했으며, 2~3배 빠른 추론 속도를 제공한다. 특히, 모멘텀 기반 전문가 부하 균형(Momentum-based expert load balancing)과 z-loss를 사용하여 훈련 안정성을 확보했다. 이러한 아키텍처는 대규모 모델 훈련(Large-scale Model Training)의 비용 효율성을 높이는 데 기여한다.
데이터셋 구성 및 합성 데이터 활용
Trinity Large는 17조 개의 토큰으로 구성된 데이터셋을 사용했으며, DatologyAI가 큐레이션했다. 데이터셋은 프로그래밍, STEM, 추론, 다국어 데이터를 포함하며, 특히 8조 개 이상의 합성 데이터(Synthetic Data)를 활용했다. 이러한 합성 데이터는 다양한 재구성 방식을 통해 생성되었으며, 모델의 성능 향상에 기여했다. 하지만, 에 대한 커뮤니티의 우려도 제기되었다.
