Mythos, 보안 취약점 탐지 능력은 정말 뛰어난가?

본 벤치마크는 Mythos가 발견했다고 알려진 9개의 실제 보안 취약점을 대상으로, 다른 최상위 LLM 모델들이 동일한 성능을 보이는지 검증하는 데 초점을 맞췄습니다. 데이터 격리 아키텍처(Data Isolation Architecture)를 적용한 환경에서 모델들은 전체 코드 저장소를 탐색할 수 있었으나, 구체적인 취약점 유형에 대한 힌트는 제공되지 않았습니다. 이는 실제 보안 감사와 유사한 환경을 조성하려는 시도입니다. 데이터 미저장 정책(Zero-Retention Policy)을 준수하며, 모델들이 학습 데이터에 포함되지 않은 최신 버그를 얼마나 잘 찾아내는지가 관건입니다.

벤치마크 결과, GPT 5.5 Pro, MiMo, Opus 4.8, Gemini 3.5 Flash, DeepSeek V4 등 여러 모델이 9개 중 4개 이상의 버그를 탐지하며 경쟁력 있는 성능을 보였습니다. 특히 저렴한 중국산 모델(Affordable Chinese Models)인 MiMo와 DeepSeek가 뛰어난 가성비를 자랑하며, Opus 및 GPT 5.5와 직접적으로 경쟁하는 수준으로 평가받았습니다. 반면 Mistral Medium과 Laguna M.1은 유의미한 결과를 도출하지 못했으며, 일부 모델은 안전 가드레일(Safety Guardrail)로 인해 보안 관련 요청을 거부하는 경향을 보였습니다.

실험 초기에는 에이전트(Agent) 환경이 모델 성능 향상에 기여할 것으로 예상했으나, 실제로는 에이전트 사용 시 시간, 토큰, 비용이 증가하는 반면 성능 향상은 미미하거나 오히려 저하되는 경우가 많았습니다. 특히 Gemini의 agy CLI는 보안 작업에 부적합한 것으로 나타났습니다. Claude Code는 상대적으로 비용 효율성이 높아 에이전트 환경에서 테스트되었으나, 전반적으로 단순 API 호출 방식이 더 효율적이라는 결과가 나왔습니다.

커뮤니티에서는 Mythos가 단순히 안전 기능이 비활성화된 표준 LLM일 뿐이며, 비용 문제로 인해 광범위하게 제공되지 않는다는 추측이 제기되었습니다. 또한, Anthropic의 과장된 마케팅(Exaggerated Marketing) 및 AI의 의인화(Personification) 방식이 기업 가치 상승을 위한 전략이라는 비판도 존재합니다. 일부 사용자는 Fable과 같은 모델이 '이전의 Opus'처럼 뛰어난 성능을 보였다고 언급하며, Mythos의 독보적인 능력에 대한 회의적인 시각을 드러냈습니다.

벤치마크 결과, 대부분의 모델이 명시적인 지시 없이는 복잡한 보안 취약점을 탐지하는 데 어려움을 겪었습니다. 이는 LLM이 특정 파일이나 코드 조각을 분석할 수는 있지만, 전체 시스템 맥락을 이해하고 잠재적 위험을 식별하는 데는 아직 한계가 있음을 시사합니다. Mythos가 더 발전된 디버거, 퍼징 테스트(Fuzz Testing) 등 고도화된 도구(Advanced Tooling)를 활용할 가능성이 제기되었으며, 현재의 벤치마크 방식으로는 Mythos의 진정한 능력을 완전히 파악하기 어렵다는 의견도 있습니다.