인스타그램 계정, AI 때문에 속수무책으로 털렸다?

커뮤니티에서는 LLM(Large Language Model)에 실행 권한(Write Privileges)을 부여하는 아키텍처 자체가 보안상 취약하다고 지적한다. 특히, 에이전트 AI(Agentic AI)는 본질적으로 이러한 공격에 취약하며, 이를 근본적으로 해결하는 것은 불가능하다는 의견이 지배적이다. 따라서 민감 시스템 접근 제한(Limiting Access to Sensitive Systems)이 유일한 해결책으로 제시된다.

일부에서는 두 개의 LLM을 활용하여 하나의 에이전트가 작업을 수행하고 다른 에이전트가 이를 감시하는 방식(GAN과 유사)을 제안한다. 하지만 이는 공격 성공 빈도를 줄일 수는 있어도, 근본적인 공격 클래스를 방지하지는 못한다는 반론이 제기된다. 오히려 두 개의 LLM을 공격 대상으로 삼아 문제를 더 복잡하게 만들 수 있다는 우려도 나온다.

이번 사건은 LLM을 고객 지원(Customer Support)에 통합하면서 발생한 심각한 오용 사례로 분석된다. 공격자는 VPN을 사용하여 지리적 위치를 조작(Spoofing Location)하고, AI 챗봇에게 임의의 이메일 주소로 인증 코드를 보내도록 요청했다. 이 과정에서 추가적인 사용자 인증 절차(Additional Verification Steps)가 미흡하여 계정 탈취로 이어졌다.

해당 공격 흐름은 기존의 2단계 인증(Two-Factor Authentication)을 완전히 우회하는 것으로 나타났다. 시스템이 복구 흐름을 '정상 소유자'의 요청으로 간주하기 때문에, 기존 세션이 무효화되고 비밀번호가 변경되어도 원 소유자에게는 알림이 가지 않는다. 공격자가 이메일과 전화번호를 장악하면 복구 자체가 불가능해지는 심각한 문제가 발생한다.

논의에서는 LLM이 인간처럼 사고하는 것이 아니라 확률적 엔진(Stochastic Engines)에 기반하기 때문에, 이를 인간 작업자를 대체하려는 시도 자체가 위험하다고 지적한다. 특히, AI가 잘못된 정보를 생성(AI Hallucination)하거나 의도하지 않은 행동(Unintended Actions)을 수행할 가능성이 상존하며, 이것이 보안 사고로 직결될 수 있음을 시사한다.