AI 제품 개발, 보안 위협을 알아야 산다!
by DD
8개월 전
조회수 16
AI를 활용한 제품 개발 과정에서 발생하는 슬랍스쿼팅, 프롬프트 인젝션 등 다양한 보안 위협 사례를 소개
Vanna.ai 프레임워크의 프롬프트 인젝션 취약점, GitHub MCP의 악성 코드 삽입 시나리오 등 구체적인 공격 방식 제시
임베딩 인버전 실험 결과를 통해 RAG 시스템에서 개인 정보 보호의 중요성을 강조하며, 보안 가이드라인 배포 및 가드레일 도입 계획 발표
슬랍스쿼팅: AI 챗봇의 함정
슬랍스쿼팅은 생성형 AI가 잘못된 패키지 설치 명령을 제안하는 취약점을 악용한다. 악성 코드를 포함한 패키지를 등록하고, 사용자가 AI의 답변을 따라 설치하도록 유도한다. 따라서, AI가 생성한 코드의 무분별한 실행은 시스템 감염의 위험을 초래한다.
프롬프트 인젝션: LLM의 양날의 검
LLM 기반 서비스에서 프롬프트 인젝션은 치명적인 보안 위협으로 작용한다. SQL 쿼리 생성 과정에서 악의적인 입력을 삽입하여, 임의의 코드를 실행할 수 있다. 가드레일 부재 시, 데이터 유출 및 시스템 제어가 가능해지므로, 입력값 검증이 필수적이다.
