Anthropic의 위험한 AI 모델, 통제 실패로 Discord 그룹에 노출

Anthropic의 Mythos는 제로데이 취약점(Zero-day Vulnerabilities)을 탐지하는 데 특화된 AI 모델로, 기존의 사이버 보안 벤치마크를 뛰어넘는 성능을 보였다. 특히, Mythos는 FreeBSD의 17년 된 원격 코드 실행 취약점(Remote Code Execution Vulnerability)을 발견하고, 이를 자동으로 악용하는 데 성공했다. 이 모델은 주요 운영체제와 웹 브라우저에서 수천 개의 제로데이 취약점을 식별할 수 있으며, 이는 사이버 공격(Cyber Attack)의 위험성을 크게 증가시킬 수 있다. 이러한 능력 때문에 Mythos는 일반에 공개되지 않고, 제한된 환경에서만 사용될 예정이었다.

Anthropic의 통제된 배포 전략(Controlled Release Strategy)은 Mythos의 위험성을 관리하기 위한 시도였으나, 제3자 벤더를 통한 접근으로 인해 실패했다. 이 사건은 공급망 보안(Supply Chain Security)의 취약성을 드러내며, AI 모델 배포 시 벤더 관리가 얼마나 중요한지를 보여준다. Anthropic은 40개 이상의 조직에 Mythos 접근 권한을 부여했지만, Discord 그룹은 벤더의 접근 권한을 악용하여 모델에 접근했다. 이는 AI 모델의 보안(AI Model Security)을 위해서는 기술적 방어뿐만 아니라, 벤더 및 파트너에 대한 엄격한 접근 통제가 필수적임을 시사한다.

이번 사건은 Anthropic에서 발생한 일련의 정보 통제 실패 중 하나로, 보안 관리(Security Management)의 심각한 문제를 드러낸다. 이전에는 Claude 코드 소스 유출, Mythos 관련 초안 블로그 게시물 공개 등의 사고가 발생했다. 이러한 반복적인 사고는 Anthropic의 콘텐츠 관리(Content Management) 및 접근 통제 시스템의 취약성을 보여준다. 특히, Mythos의 URL 패턴을 추측하여 접근에 성공한 사례는, 패턴 인식(Pattern Recognition)만으로도 보안 시스템을 우회할 수 있음을 시사한다. 이는 AI 모델 개발 및 배포 시, 더욱 강화된 보안 조치가 필요함을 강조한다.

흥미롭게도, Mythos는 국방부(Department of Defense)의 반대에도 불구하고 국가안보국(National Security Agency, NSA)에서 사용되고 있다. 반면, 핵심 인프라 보호(Critical Infrastructure Protection)를 담당하는 CISA(Cybersecurity and Infrastructure Security Agency)는 모델에 접근할 수 없는 상황이다. 이러한 정부 기관 간의 불일치는 AI 모델의 활용(AI Model Utilization)과 관련된 정책적 혼란을 보여준다. CISA가 접근 권한을 갖지 못하는 상황은, 국가 안보(National Security)를 위협하는 잠재적 위험을 내포하고 있으며, AI 모델의 안전한 활용을 위한 정부 차원의 협력과 조정이 시급함을 시사한다.

Anthropic은 Mythos와 같은 고성능 AI 모델을 안전하게 배포하기 위한 노력을 지속할 것이라고 밝혔다. 이를 위해서는 벤더 접근 관리(Vendor Access Governance)를 강화하고, AI 모델의 보안(AI Model Security)을 위한 기술적, 정책적 노력이 필요하다. 특히, AI 모델의 배포 규모가 커질수록, 공급망 보안(Supply Chain Security)의 중요성은 더욱 커질 것이다. Anthropic은 Mythos를 일반에 공개할 계획은 없지만, 궁극적으로는 안전한 AI 모델 배포를 목표로 하고 있다. 이를 위해서는 AI 모델의 안전성(AI Model Safety)을 확보하기 위한 지속적인 연구와 투자가 필요하다.