AI 코딩 모델, 벤치마크는 믿을 수 있나?

댓글에서는 CursorBench와 Cognition의 자체 벤치마크 결과에 대한 의구심이 제기됨. 두 회사 모두 자체 개발 모델(Proprietary Models)을 최고 성능으로 평가하며, 이는 상호 과적합(Overfitting)된 데이터셋 사용 때문일 수 있다는 지적임. 특히, Kimi 모델을 기반으로 한 파생 모델들이 동일한 데이터셋에서 높은 점수를 받는다는 점이 반복적으로 언급됨. 따라서 제시된 성능 수치는 선별된 데이터(Cherry-picked Data)에 기반할 가능성이 높다고 분석함.

커뮤니티에서는 Devin 및 Cursor 상호작용 로그와 같은 특정 데이터셋이 벤치마크 결과에 미치는 영향을 지적함. 이는 모델이 특정 사용 패턴에 과적합(Overfit)되어 일반적인 코딩 작업에서의 성능을 정확히 반영하지 못할 수 있음을 시사함. 또한, artificialanalysis.ai와 같은 외부 평가 결과와 상반되는 자체 벤치마크 결과는 데이터셋 편향성(Dataset Bias)을 더욱 부각시킨다고 논의됨.

과거 Cognition의 Windsurf 인수 후 고객 지원 중단 및 가격 인상 사례가 언급되며, 벤치마크 외 실제 사용 경험(Real-world User Experience)의 중요성이 강조됨. 모델 성능뿐만 아니라 지속적인 고객 지원(Customer Support)과 브랜드 가치(Brand Value)가 장기적인 성공에 필수적이라는 의견임. 일부 사용자는 이러한 문제로 인해 이탈(Churn)했음을 밝히며, 기술적 성능 외적인 요소의 중요성을 역설함.

개발자들은 코딩 작업에 최적화된 저비용 모델(Cost-effective Coding Models)의 필요성에 공감함. SWE-1.7과 Composer 2.5와 같은 모델이 이러한 수요를 충족시킬 잠재력이 있다고 평가함. 하지만 현재 GLM-5.2 수준의 범용 지능(General Intelligence)을 갖추면서 코딩에만 특화된 모델 개발 노력은 부족하다는 지적이 있음. 따라서 성능 향상과 비용 절감이라는 두 마리 토끼를 잡기 위한 추가적인 연구 개발이 필요하다고 봄.