LLM 최적화 경쟁: Fable 5의 압승과 '/goal' 모드의 진실

Claude Code의 '/goal'은 세션 스코프의 중단 후크(Stop Hook)로 구현되어 평가 모델(Haiku)이 대화 기록만 보고 판단합니다. 반면 Codex는 지속된 상태(Persisted State)와 라이프사이클 도구(Lifecycle Tools)를 사용하여 목표를 관리하며, 파일 접근 및 도구 사용이 가능합니다. 이러한 구현 방식의 근본적인 차이는 '/goal' 모드의 작동 방식과 결과에 영향을 미치는 것으로 분석됩니다.

참가자들은 이 문제가 매우 큰 탐색 공간(Search Space)을 가지며, 단순한 성능 지표만으로는 모델의 실제 능력을 평가하기 어렵다고 지적합니다. 특히 Gurobi와 같은 상용 ILP 솔버와의 비교를 제안하며, 문제의 특성상 차량 경로 문제(Vehicle Routing Problem)와 유사성이 있음을 언급합니다. 또한, 최고 점수 추이(Best Score Over Time)와 같은 다양한 평가 지표의 필요성이 제기되었습니다.

일부 사용자는 Claude가 코딩 분야에서 OpenAI에 뒤처지고 있다고 평가하며, 효율적인 모델의 필요성을 강조합니다. 또한, 장기 세션에서 모델의 기억력 문제를 지적하며 '/goal' 모드가 이를 해결할 수 있을지에 대한 의문을 제기합니다. 다른 한편에서는 OpenEvolve와 같은 전문 솔버 사용을 제안하며, LLM이 모든 최적화 문제를 해결할 수 있다는 환상에 대한 경계를 나타냅니다.