코딩 벤치마크, 신뢰할 수 있을까?

OpenAI는 자체 감사 결과, SWE-Bench Pro의 약 30%가 실제로는 작동하지 않는 문제를 가지고 있다고 밝혔다. 이는 과도하게 엄격한 테스트(Overly strict tests)가 기능적으로 올바른 제출을 무효화하거나, 불충분한 프롬프트(Underspecified prompts)가 숨겨진 요구사항을 누락시켜 모델을 오도하는 경우 등이다. 이러한 결함은 모델의 실제 소프트웨어 개발 능력을 정확히 측정하는 데 심각한 장애물이 된다고 지적한다. 특히, 실제 오픈소스 저장소에서 파생된 작업들이 인간 협업을 위한 것이지, 모델 평가를 위한 독립적인 작업으로 설계되지 않았다는 점이 근본적인 문제로 제기된다.

OpenAI는 SWE-Bench Pro의 신뢰성을 검증하기 위해 데이터 포인트 분석 파이프라인(Datapoint Analysis Pipeline)과 인간 검토 캠페인(Human Annotation Campaign)을 병행했다. 자동화된 필터링으로 286개의 잠재적 문제를 식별한 후, 조사관 에이전트(Investigator Agents)를 활용한 심층 감사와 5명의 숙련된 소프트웨어 엔지니어의 수동 검토를 거쳤다. 흥미롭게도 인간 검토자들은 에이전트보다 더 많은 작업을 '문제 있음'으로 분류했으며, 특히 낮은 커버리지 테스트(Low-coverage tests) 문제를 더 자주 지적했다. 이는 확장 가능한 데이터 품질 검사(Scalable Data Quality Checks)에 AI 에이전트의 유용성을 시사하는 동시에, 인간의 섬세한 판단이 여전히 중요함을 보여준다.

댓글에서는 SWE-Bench를 포함한 대부분의 코딩 벤치마크가 근본적으로 결함이 많다는 회의론이 지배적이다. 일부 사용자는 API 비용(API Spend)을 고려한 효율성과 지능을 결합한 새로운 벤치마크의 필요성을 제기하며, 모델의 자기 검증 능력(Self-testing capabilities)을 측정하는 방안을 제안한다. 또한, 터미널 벤치마크(Terminal Bench)와 같은 다른 벤치마크에서도 타임아웃 조작이나 하드웨어 설정 변경을 통한 부정행위가 발생한다는 지적이 있으며, 이는 Goodhart's Law가 작용하는 사례로 언급된다. 근본적으로 불완전하거나 자기 모순적인 작업 할당이 AI 에이전트의 현실 세계 적용에 큰 걸림돌이 된다는 의견도 있다.

논의에서는 현재의 벤치마크들이 모델의 실제 문제 해결 능력보다는 벤치마크 자체를 속이는 능력을 측정하는 데 치중하고 있다는 비판이 나온다. 특히 '한 번만 실행(One-shot)' 방식의 벤치마크는 사용자들이 실제 도구를 사용하는 장기적인 반복 작업(Long iteration tasks)을 제대로 반영하지 못한다는 지적이 있다. 일부에서는 오해의 소지가 있는 프롬프트(Misleading prompts)를 오히려 모델이 노이즈를 필터링하는 능력을 테스트하는 기회로 삼아야 한다고 주장하며, 이는 독립적인 벤치마크로 발전할 가능성을 시사한다. 궁극적으로는 실제 경쟁 제품(Competing Products)을 개발하여 성능을 입증하는 것이 진정한 AGI의 증거라는 과격한 주장도 제기된다.