Thinking Machines에서 잉클링(Inkling)이라는 첫 오픈 웨이트 모델을 출시함
해당 모델은 975B 파라미터의 MoE 아키텍처로, 100만 컨텍스트 길이를 지원함
텍스트, 이미지, 오디오에 대한 네이티브 추론 능력과 제어 가능한 사고 노력(Controllable Thinking Effort)을 특징으로 함
Apache 2.0 라이선스 하에 모델 웨이트를 다운로드하거나 Tinker 플랫폼에서 파인튜닝 가능
잉클링(Inkling)은 Mixture-of-Experts (MoE) 아키텍처를 기반으로 하며, 총 9750억 개의 파라미터 중 실제 추론 시에는 410억 개의 활성 파라미터만 사용함. 이는 계산 효율성(Computational Efficiency)을 극대화하면서도 모델의 표현력을 유지하는 설계임. 또한, 100만 토큰에 달하는 매우 긴 컨텍스트 길이(Long Context Length)를 지원하여 복잡하고 방대한 데이터셋에 대한 이해도를 높임. 텍스트, 이미지, 오디오를 아우르는 멀티모달(Multimodal) 능력은 다양한 유형의 데이터를 동시에 처리하고 연관성을 파악하는 데 중점을 둠.
본 모델은 파인튜닝(Fine-tuning)에 최적화되어 출시되었으며, 사용자는 Tinker 플랫폼을 통해 쉽게 모델을 특정 작업에 맞게 조정할 수 있음. 또는 Apache 2.0 라이선스 하에 모델 웨이트를 직접 다운로드하여 자체 환경에서 파인튜닝을 진행할 수도 있음. 이는 개발자들이 자체 데이터셋을 활용하여 모델의 성능을 특정 도메인이나 작업에 맞게 미세 조정할 수 있는 유연성을 제공함. 제어 가능한 사고 노력(Controllable Thinking Effort) 기능은 추론 시 필요한 계산량을 조절하여 비용과 성능 간의 균형을 맞출 수 있도록 지원함.
잉클링(Inkling)은 텍스트뿐만 아니라 이미지와 오디오까지 네이티브(Native)로 이해하고 추론하는 능력을 갖춤. 이는 단순히 여러 모달리티를 결합하는 것을 넘어, 각 데이터 유형의 고유한 특성을 깊이 있게 분석하고 상호 연관성을 파악하는 것을 의미함. 예를 들어, 이미지 속 객체에 대한 텍스트 설명을 생성하거나, 오디오 데이터의 맥락을 이해하여 관련 텍스트 정보를 추출하는 등의 작업이 가능함. 이러한 통합적인 멀티모달 이해(Integrated Multimodal Understanding)는 더욱 정교하고 인간과 유사한 AI 상호작용을 가능하게 하는 핵심 요소임.