LLM 프롬프트 인젝션, 이렇게 막으세요!
LLM 기반 애플리케이션에서 프롬프트 인젝션(Prompt Injection) 공격으로 인한 시스템 프롬프트 노출 및 오용 위험이 존재함
필터링(Filtering), 명령어 재정의(Instruction Defense), 순서 변경(Post-Prompting) 등 다양한 방어 기법을 적용하여 공격 성공률을 낮출 수 있음
샌드위치 방어(Sandwich Defense), XML 태깅(XML Tagging), 이중 LLM(Dual LLM) 검증 등 구조적 방어 기법으로 보안 강화 가능
단일 기법으로는 완벽한 방어가 어려우므로, 다층적 방어 전략(Layered Defense Strategy)을 스택하여 공격 난이도를 높이는 것이 중요함
프롬프트 인젝션 공격의 기본 원리
LLM은 개발자가 정의한 시스템 프롬프트와 사용자 입력 텍스트를 구분하지 못하는 근본적인 한계(Fundamental Limitation)를 가진다.
모든 입력은 단순 텍스트(Plain Text)로 처리되므로, 사용자가 악의적인 명령어를 시스템 프롬프트처럼 위장하여 입력하면 LLM은 이를 구분하지 못하고 실행함
이로 인해 민감한 정보 노출, 시스템 오작동, 악의적인 콘텐츠 생성 등 다양한 보안 사고로 이어질 수 있음
따라서 LLM 애플리케이션 개발 시 입력값 검증(Input Validation)은 필수적인 보안 고려사항임.
구조적 방어 기법: XML 태깅과 랜덤 시퀀스
사용자 입력을 명확한 경계로 분리하여 LLM이 명령어와 데이터를 구분하도록 돕는 구조적 방어(Structural Defense) 기법이 활용됨.
XML 태깅(XML Tagging): `<user_input>`과 같은 태그로 사용자 입력을 감싸 LLM이 이를 데이터로 인식하게 함. 대부분의 최신 LLM은 XML 구조에 익숙하여 효과적임.
랜덤 시퀀스(Random Sequence) 감싸기: 임의의 문자열로 사용자 입력을 감싸 LLM이 해당 부분을 데이터로 인식하도록 유도함.
주의점: 사용자 입력에 종료 태그(`</user_input>`)가 포함될 경우, LLM이 이를 실제 종료 태그로 오인하여 공격에 취약해질 수 있음. 따라서 입력값에 포함된 특수 문자는 이스케이프 처리(Escaping)하여 무해한 텍스트로 변환해야 함.
이중 LLM 검증을 통한 보안 강화
단일 LLM의 한계를 극복하기 위해, 보안 검증 전담 LLM(Dedicated Security LLM)을 추가로 활용하는 방식이 효과적임.
역할: 메인 LLM에 전달되기 전 사용자 입력이 악의적인 의도를 가졌는지 판단하는 역할 수행
구현: AI 안전 연구원 역할을 부여하여 입력값의 위험도를 평가하고, 위험할 경우 차단하거나 경고 메시지 반환
장점: 특정 작업에 집중된 LLM은 높은 탐지율을 보이며, 정교한 공격 패턴(Sophisticated Attack Patterns)에도 효과적으로 대응 가능
단점: API 호출 비용 증가 및 응답 지연 시간(Response Latency) 발생 가능성 존재. 따라서 고위험 애플리케이션(High-Stakes Applications)에 우선 적용하는 것이 합리적임.
다층적 방어 전략의 중요성
프롬프트 인젝션 공격은 단일 방어 기법만으로는 완벽하게 차단하기 어려우므로, 여러 방어 기법을 조합한 다층적 접근(Layered Approach)이 필수적임.
초기 필터링(Initial Filtering): 입력값에서 명백히 악의적인 키워드나 패턴을 차단하여 1차 방어선 구축
구조적 분리(Structural Separation): XML 태깅이나 랜덤 시퀀스로 사용자 입력과 시스템 명령어를 명확히 구분
후처리 검증(Post-processing Validation): 의심스러운 입력에 대해 추가적인 검증 LLM을 활용하거나, 출력값을 검토
이러한 단계별 방어(Step-by-step Defense)를 통해 공격자가 시스템을 무력화시키기 어렵게 만들어, 전반적인 보안 수준을 크게 향상시킬 수 있음.
기타 방어 기법 및 고려사항
최신 LLM 모델은 이전 모델보다 편향성(Alignment)이 강화되어 프롬프트 인젝션 공격에 더 강한 경향을 보임.
최신 모델 사용: 최신 LLM은 보안 취약점이 개선된 경우가 많으므로, 가능한 최신 버전을 활용하는 것이 유리함.
파인튜닝(Fine-tuning): 특정 작업에 맞게 모델을 미세 조정하면 시스템 프롬프트가 모델 가중치에 내재화되어 공격 표면(Attack Surface)이 줄어듦. 하지만 높은 비용과 데이터 요구사항이 따름.
소프트 프롬프팅(Soft Prompting): 파인튜닝보다 저렴하지만 아직 연구가 더 필요한 영역임.
길이 제한(Length Restriction): 사용자 입력이나 대화 길이를 제한하여 복잡한 공격 기법의 실행을 원천적으로 차단할 수 있음.
