Forge, 8B 모델의 에이전트 작업 신뢰도를 획기적으로 개선!

Forge는 WorkflowRunner, SlotWorker, Guardrails middleware 및 Proxy server를 제공하여 다양한 사용 사례를 지원한다. WorkflowRunner는 도구 정의, 백엔드 선택, 에이전트 루프 실행을 관리하며, SlotWorker는 우선순위 큐를 통해 GPU 자원을 공유한다. 또한, OpenAI 호환 프록시(Proxy)를 통해 기존 클라이언트에 Forge의 가드레일을 쉽게 적용할 수 있다.

커뮤니티에서는 Forge가 제공하는 구조적 가드레일(Structural Guardrails)이 소형 모델의 성능을 향상시키는 데 효과적이라는 점에 주목했다. 특히, parse rescue와 같은 기술을 통해 잘못된 도구 호출을 수정하고, 상태 머신(State Machine)을 사용하여 단계별 실행을 강제하는 접근 방식에 대한 긍정적인 평가가 이어졌다. 또한, Eval Methodology에 대한 질문이 이어졌다.