AI 보안 스캐너, LLM 안전 기능 악용에 취약

커뮤니티에서는 악성코드 개발자들이 LLM의 안전 거부(Safety Refusal) 기능을 우회하기 위해 핵무기, 생화학 무기 등 민감한 키워드를 악성코드 내에 삽입하는 기법을 사용한다고 지적합니다. 이는 AI 기반 보안 스캐너가 해당 코드를 분석하려 할 때, LLM이 안전상의 이유로 분석을 거부하도록 유도하여 악성코드 탐지를 회피하려는 전략입니다. 이러한 방식은 AI 모델의 안전 기능이 오히려 공격자에게 새로운 공격 벡터(Attack Vector)를 제공할 수 있음을 보여줍니다.

논의에서는 AI를 활용한 악성코드 분석 파이프라인 설계 시 프롬프트 조작(Prompt Manipulation)에 대한 심도 있는 고려가 필요하다고 강조합니다. 단순히 LLM의 안전 거부 기능에만 의존할 경우, 위와 같은 기법에 취약할 수 있습니다. 따라서 샌드박스 환경(Sandboxed Environment)에서의 철저한 분석과 함께, AI 모델이 의도적으로 회피하려는 시도를 탐지할 수 있는 다층적인 분석 기법이 요구됩니다. 일부 사용자는 이러한 공격이 성공할 경우 오픈 소스 모델(Open Source Model)의 안전 장치가 더 약화될 수 있다고 우려합니다.

일부 댓글에서는 핵무기 개발과 같은 극단적인 정보가 이미 인터넷에 공개되어 있으며, LLM이 이를 가르쳐주지 않더라도 접근 가능하다고 주장합니다. 이는 LLM의 정보 통제(Information Control) 및 안전 필터링(Safety Filtering)의 실효성에 대한 근본적인 질문을 던집니다. 다른 의견으로는, 이러한 정보가 공개되어 있더라도 악성코드 개발자가 AI를 이용해 이를 악용하는 것은 새로운 차원의 위협이며, AI 모델의 의도적 오용(Intentional Misuse) 가능성을 간과해서는 안 된다는 반론이 제기됩니다.

이번 사례는 AI 모델의 안전 장치(Guardrails)가 때로는 분석을 방해하고 오히려 문제를 야기할 수 있다는 주장을 뒷받침합니다. 일부 개발자들은 AI 모델이 더 '안전하게' 만들어질수록 두 번째 순서의 맹점(Second-order Blindspots)이 발생하며, 공격자들이 이를 파고들 것이라고 예측합니다. 특히 복잡한 사이버 보안 문제를 다루는 시스템에서는 AI 모델의 안전 기능 완화(Safety Blunting)를 요구할 가능성이 있으며, 이는 잠재적으로 더 큰 위험을 초래할 수 있다는 우려가 공존합니다.