코드 자동 완성, 이제 1.5B 모델로!

Sweep은 기존 토큰 단위 자동 완성(Token-level Autocomplete)과 달리, Next-Edit 방식을 통해 실제 코드 변경 흐름에 더욱 가깝게 접근한다. 이는 개발자가 최근 수정한 코드 내역을 기반으로 다음 편집을 예측하여, 코드 리팩토링(Code Refactoring)과 같은 맥락적 변화를 더욱 정확하게 반영한다. 이러한 접근 방식은 작은 모델에서도 높은 정확도를 달성하는 데 기여한다.

모델은 SFT(Supervised Fine-Tuning)를 통해 초기 학습을 진행한 후, RL(Reinforcement Learning)을 적용하여 성능을 개선했다. 특히, RL 단계에서 트리-시터(Tree-sitter)를 활용한 구문 검사(Syntax Checking)와 크기 정규화(Size Regularization)를 통해, 구문 오류(Syntax Error) 발생을 줄이고, 과도한 상세 출력(Verbose Output)을 방지했다. 훈련에는 8xH100 환경에서 약 4시간이 소요되었다.

모델의 성능 향상에 있어 프롬프트 형식(Prompt Format)의 중요성이 강조되었다. 특히, 통합된 Diff(Unified Diff) 형식보다 단순한 `original`/`updated` 블록 형식이 작은 모델에서 더 나은 성능을 보였다. 이는 모델이 복잡한 형식보다 단순한 형식을 이해하기 쉽기 때문이며, 코드의 정확성(Code Precision)을 높이는 데 기여한다.

Sweep은 Apache 2.0 라이선스로 공개되어, 개발자들이 다양한 에디터 환경에서 개인 정보 보호(Privacy-Preserving)를 유지하며 자동 완성 기능을 구현할 수 있도록 지원한다. 커뮤니티에서는 VSCode, Neovim 등 다양한 에디터 지원에 대한 기대감을 표명했으며, 이는 오픈소스 모델의 확장성(Extensibility)과 커뮤니티 기여(Community Contribution)를 촉진할 것으로 예상된다.

댓글에서는 1.5B 모델 훈련에 8xH100 환경에서 4시간이 소요된 점에 주목하며, 분산 GPU(Decentralized GPU)를 활용한 훈련 방식에 대한 언급이 있었다. 특히, io.net과 같은 분산 GPU 플랫폼을 사용하면 클라우드 쿼터 제한(Cloud Quota Limits)을 피하고, 비용을 예측 가능하게 유지할 수 있다. 이는 데이터 격리 아키텍처(Data Isolation Architecture)를 구축하는 데에도 도움이 될 수 있다.