Mythos AI, Curl 코드 분석 결과: 과대평가된 성능?

Daniel Stenberg는 Mythos AI가 발견한 단일 취약점이 기존 AI 도구 대비 압도적인 성능을 보여주지 못했다고 평가했다. 특히, Curl 프로젝트가 이미 다양한 AI 기반 도구와 전통적인 정적 분석 도구를 사용하여 지속적으로 코드를 검증해왔다는 점을 강조하며, Mythos가 발견한 취약점의 수가 예상보다 적었다고 언급했다. 이는 Mythos의 과장된 마케팅에 대한 비판으로 이어진다.

Stenberg는 AI 기반 도구가 기존에 발견되지 않던 새로운 유형의 취약점을 찾아내지는 못한다고 지적했다. AI 도구는 기존에 알려진 취약점의 새로운 인스턴스를 발견하는 데 주로 기여하며, 이는 AI가 코드 분석 분야를 혁신하는 수준은 아님을 시사한다. 하지만, AI는 기존 도구보다 더 많은 문제를 찾아내며, 개발자가 놓칠 수 있는 부분을 보완하는 데 기여한다.

Curl 프로젝트는 AI 기반 도구 외에도, 다양한 보안 강화 조치를 취하고 있다. 여기에는 엄격한 코딩 가이드라인 준수, 지속적인 코드 검토, 그리고 OSS-Fuzz, Coverity, CodeQL과 같은 도구를 활용한 광범위한 테스트가 포함된다. 이러한 노력은 Curl의 보안성을 높이는 데 기여하며, AI 도구의 분석 결과를 통해 지속적으로 개선되고 있다.

Mythos는 LLM(Large Language Model) 서브 에이전트를 활용하여 병렬 파일 읽기를 수행하고, 각 발견 사항을 직접 소스 코드 검사를 통해 검증하는 방식을 사용했다. 또한, Curl의 `vuln.json` 파일을 기반으로 CVE(Common Vulnerabilities and Exposures)와 취약점 간의 매핑을 구축했다. 분석 결과, 메모리 안전성 취약점은 발견되지 않았다고 보고되었다.