Qwen3.5: 오픈소스 VL 모델로 AI 앱 개발 시작하세요!

Qwen3.5는 비전(Vision) 및 언어(Language) 구성 요소 간 병렬 처리 전략을 분리하는 이기종 인프라를 통해 효율적인 네이티브 멀티모달 훈련을 가능하게 한다. 이는 균일한 접근 방식의 비효율성, 즉 가벼운 모달리티에 과도한 컴퓨팅 할당, 비전 및 언어 타워 간의 동기화 병목 현상, 장치 간 메모리 불균형, 동일한 병렬 처리 전략으로 두 모달리티를 강제할 때의 확장 효율성 감소 등을 방지한다. 희소 활성화(Sparse Activations)를 활용하여 모델 구성 요소 간 중첩 계산을 가능하게 함으로써, 순수 텍스트 기반 훈련과 거의 동일한 훈련 처리량을 달성한다. 또한, 네이티브 FP8 훈련 파이프라인은 활성화, MoE 라우팅 및 GEMM 연산에 저정밀도 계산을 적용한다. 런타임 모니터링은 수치적으로 민감한 레이어에서 BF16 정밀도를 동적으로 유지하여 활성화 메모리 사용량을 약 50% 줄이고 10% 이상의 훈련 속도 향상을 제공하며, 수십 조 개의 토큰으로의 안정적인 확장을 유지한다.

Qwen3.5는 FP8 훈련 파이프라인(FP8 Training Pipeline)을 통해 훈련 속도와 메모리 효율성을 극대화한다. FP8은 BF16 대비 메모리 사용량을 줄여, 더 큰 모델을 더 적은 자원으로 훈련할 수 있게 한다. 특히, Mixture-of-Experts(MoE) 라우팅과 GEMM 연산에 FP8을 적용하여, 모델의 복잡성을 유지하면서도 훈련 속도를 향상시킨다. 런타임 모니터링을 통해 수치적으로 민감한 레이어에서는 BF16 정밀도를 유지하여, 모델의 안정성을 확보한다. 이러한 기술은 하드웨어 활용도를 높이고, 훈련 시간을 단축하며, 대규모 데이터셋에서도 안정적인 성능을 보장한다.

본문에서는 Ollama를 사용하여 Qwen3.5 모델을 로컬 또는 클라우드 환경에서 실행하는 방법을 제시한다. Ollama는 대규모 언어 모델(LLM)을 쉽게 배포하고 관리할 수 있도록 돕는 도구이다. 사용자는 Ollama와 GPU Droplet을 활용하여, 자체 인프라에서 Qwen3.5 모델을 실행할 수 있다. 이를 통해, Claude Code, Codex와 같은 애플리케이션을 자체적으로 구축하고, API 종속성 없이 코딩 어시스턴트, 컴퓨터 사용 에이전트 등 다양한 AI 기반 서비스를 개발할 수 있다. Ollama는 모델 로딩, 추론, 관리를 단순화하여, 개발자가 모델 자체에 집중할 수 있도록 돕는다.

Qwen3.5는 비동기식 RL 프레임워크(Asynchronous RL Framework)를 통해 대규모 강화 학습을 지원한다. 이 프레임워크는 훈련과 롤아웃 생성을 독립적으로 실행하여 하드웨어 활용도를 높이고, 동적 부하 분산 및 세분화된 오류 복구를 지원한다. End-to-end FP8 훈련, 롤아웃 라우터 리플레이, 추론적 디코딩, 멀티턴 롤아웃 잠금과 같은 기술을 통해 처리량을 증가시키면서 훈련과 추론 간의 일관성을 유지한다. 또한, 에이전트 기반 워크플로우를 네이티브하게 지원하여 복잡한 환경 내에서 중단 없는 멀티턴 상호 작용을 가능하게 한다. 이러한 최적화는 3~5배의 end-to-end 훈련 속도 향상을 가져온다.

본문에서는 Qwen3.5를 사용하여 Python 기반 컬링 게임을 생성하는 과정을 예시로 제시한다. Ollama를 통해 Qwen3.5-122B 모델을 실행하고, Claude Code를 사용하여 게임 코드를 생성한다. 하지만, 단일 H200 GPU 환경에서는 코드 생성에 상당한 시간이 소요되었으며, 생성된 코드의 개선이 필요했다. 이 사례는 오픈소스 VL 모델의 활용 가능성을 보여주는 동시에, 자원 및 모델 선택의 중요성을 강조한다. 특히, Opus 4.6과 같은 다른 모델을 사용하거나, 더 많은 컴퓨팅 자원을 활용하면, 더 빠르고 효율적인 개발이 가능할 것으로 예상된다.