Mythos Preview, AI 기반 취약점 분석으로 보안 혁신을 꿈꾸다.
Anthropic의 Mythos Preview를 활용하여 자체 시스템의 취약점 분석을 수행함
익스플로잇 체인 구성(Exploit Chain Construction) 및 PoC 자동 생성(Proof Generation) 능력이 기존 모델 대비 향상됨
모델의 일관성 없는 거부(Inconsistent Refusals)와 높은 노이즈(Noise)로 인해 추가적인 안전 장치 필요
자동 패치(Auto Patch) 시도 중 발생한 문제점을 통해, 보안 아키텍처(Security Architecture)의 중요성을 강조함
Mythos Preview의 핵심 기능: 익스플로잇 체인 구성
Cloudflare는 Mythos Preview를 통해 익스플로잇 체인 구성(Exploit Chain Construction) 능력을 확인했다. 이는 여러 취약점을 연결하여 실제 공격 시나리오를 만드는 기술로, 기존 모델들이 개별 취약점 발견에 그쳤던 것과 달리, Mythos Preview는 취약점 간의 관계를 파악하고 실제 공격 코드를 생성(Code Generation)하는 데 성공했다. 이러한 능력은 보안 연구자 수준의 분석 능력을 보여주는 것으로 평가된다.
AI 기반 취약점 분석의 한계: 노이즈와 일관성 부족
Mythos Preview는 긍정적인 평가를 받았지만, AI 환각(Hallucination)과 일관성 부족이라는 문제점을 드러냈다. 특히, 모델이 특정 요청에 대해 거부하는 경우가 발생했으며, 동일한 요청이라도 상황에 따라 다른 결과를 보였다. 또한, C/C++과 같은 메모리 안전성이 낮은 언어로 작성된 프로젝트에서 더 많은 AI 환각(Hallucination)이 발생했다. 이는 AI 기반 분석 도구의 신뢰성을 저해하는 요소로 작용한다.
효율적인 취약점 분석을 위한 아키텍처 설계
Cloudflare는 AI 모델의 한계를 극복하기 위해 하네스(Harness) 기반의 시스템을 구축했다. 이 시스템은 좁은 범위의 질문을 통해 모델의 정확도를 높이고, 이중 검증(Adversarial Review)을 통해 노이즈를 줄이는 방식으로 설계되었다. 또한, 병렬 처리(Parallel Processing)를 통해 코드 커버리지를 향상시키고, 취약점의 실제 도달 가능성을 확인하는 트레이싱(Tracing) 단계를 포함하여, 효율적인 취약점 분석 파이프라인을 구축했다.
자동 패치의 위험성: 보안 아키텍처의 중요성
Cloudflare는 AI 모델을 활용한 자동 패치 시도의 위험성을 경고하며, 보안 아키텍처(Security Architecture)의 중요성을 강조했다. 모델이 생성한 패치가 기존 기능을 손상시키는 사례를 통해, 자동 패치(Auto Patch)의 한계를 지적했다. 대신, 취약점 발생을 원천적으로 차단하는 방어 메커니즘(Defense Mechanism) 구축, 코드 격리(Code Isolation) 및 데이터 격리 아키텍처(Data Isolation Architecture) 설계를 통해 공격의 영향 범위를 최소화하는 전략을 제시했다.
