AI, 공격의 도구이자 표적이 되다: 구글(Google)의 최신 보고서

구글(Google)의 보고서에 따르면, AI를 활용하여 개발된 제로데이(Zero-day) 익스플로잇(Exploit)이 실제 공격에 사용된 사례가 확인되었다. 특히, 2단계 인증(2FA) 우회 취약점을 악용한 사례는 AI 모델이 개발자의 의도를 파악하여 고수준의 논리적 결함(Semantic Logic Flaw)을 찾아낸 결과이다. 이는 기존의 퍼저(Fuzzer)나 정적 분석 도구(Static Analysis Tools)로는 탐지하기 어려운 유형의 취약점을 AI가 발견할 수 있음을 시사한다. 이러한 AI의 능력은 공격자들이 더욱 정교하고 은밀한 공격을 수행할 수 있게 함을 의미한다.

PROMPTSPY와 같은 AI 기반 악성코드는 공격의 자율성을 극대화하고 있다. 이 악성코드는 Gemini API를 활용하여 안드로이드(Android) UI를 조작하고, 사용자의 행위를 실시간으로 분석하여 추가적인 공격을 수행한다. 특히, PROMPTSPY는 사용자 인터페이스(User Interface)의 기하학적 구조 분석을 통해 자동화된 상호 작용을 수행하며, 생체 인식 데이터를 탈취하여 인증 절차를 우회한다. 이러한 자율성은 공격자가 개입 없이도 악성 행위를 지속할 수 있게 하여, 방어의 난이도를 크게 높인다.

TeamPCP(UNC6780)와 같은 공격자들은 AI 환경 및 소프트웨어 종속성을 공격의 초기 진입점으로 활용하고 있다. 이들은 PyPI 패키지(Package)를 악용하거나, GitHub 저장소(Repository)에 악성 풀 리퀘스트(Pull Request)를 삽입하는 방식으로 공급망을 공격한다. 이러한 공격은 SAIF(Secure AI Framework)에서 정의하는 다양한 위험을 초래하며, 특히 IIC(Insecure Integrated Component) 및 RA(Rogue Actions)와 관련된다. LiteLLM과 같은 AI 게이트웨이(Gateway) 유틸리티의 손상은 AI API 시크릿(Secret) 노출로 이어져, 추가적인 공격의 발판이 될 수 있다.

구글(Google)은 AI를 활용한 정보 조작(Information Operations) 활동의 증가를 관찰했다. 특히, AI 기반의 음성 복제(Voice Cloning) 기술을 활용하여 가짜 뉴스(Fake News)를 제작하고, 특정 정치적 의제를 확산하는 사례가 확인되었다. 이러한 기술은 기존의 정보 조작 전술을 강화하며, 가짜 콘텐츠(Fake Content) 제작의 효율성을 높인다. AI는 정보 조작 캠페인(Campaign)의 핵심 도구로 자리 잡고 있으며, 이는 사회적 신뢰를 훼손하고 여론을 조작하는 데 악용될 수 있다.

공격자들은 AI 모델에 대한 접근을 위해 프리미엄 티어(Premium Tier) 계정을 확보하려는 시도를 보이고 있다. 이를 위해, 계정 자동 등록, CAPTCHA 우회, SMS 인증 우회 등을 자동화하는 툴을 활용한다. 또한, API 게이트웨이(Gateway) 및 집계 도구(Aggregator)를 사용하여 여러 API 키를 통합하고, IP 주소를 우회하는 기술을 사용한다. 이러한 기술은 공격자들이 AI 모델의 사용 제한을 회피하고, 대규모 공격을 수행할 수 있도록 지원한다. LLM 제공업체는 이러한 네트워크 인프라(Network Infrastructure) 데이터 분석을 통해 공격을 방어해야 한다.