AI 어시스턴트, 프롬프트 인젝션 실험 결과는?

일부 사용자들은 실험 결과가 프롬프트 인젝션의 실제 난이도를 과소평가했다고 지적합니다. AI가 모든 프롬프트를 공격으로 간주하고 방어적으로 응답한다면, 이는 보안은 높지만 실질적인 유용성은 떨어지는(Useless) 상태라고 비판합니다. 따라서 단순히 비밀 정보 유출 여부뿐만 아니라, AI의 응답성(Responsiveness)과 정상적인 기능 수행(Legitimate Behavior) 가능성을 함께 고려해야 한다는 의견이 제시되었습니다.

커뮤니티에서는 AI 어시스턴트가 정상적인 요청과 악의적인 시도를 구분하는 능력의 중요성을 강조합니다. 모든 이메일에 응답하지 않도록 지시받은 AI가 이메일에 응답하지 않는 것을 성공으로 간주하는 것은, 실질적인 도움을 제공하지 못하는(Not Assisting) 상태를 의미한다고 봅니다. 따라서 AI 설계 시 보안 강화(Security Hardening)와 사용자 경험(User Experience) 간의 정교한 균형이 필요하다는 논의가 이루어졌습니다.

현재의 AI 모델, 특히 특정 버전(Opus 4.6 등)은 프롬프트 인젝션에 취약할 수 있으며, 이는 아직 활발한 연구가 진행 중인 영역(Active Research Frontier)임을 시사합니다. 특정 모델에 대한 '주문(Incantation)'이 알려지면 무기화될 수 있다는 경고가 있습니다. 역할 혼동(Role Confusion)에 대한 최근 글처럼, 모델이 지시를 따르는 능력(Following Instructions)은 여전히 발전이 필요한 부분으로 지적되었습니다.

일부 댓글에서는 AI 어시스턴트 운영 비용에 대한 현실적인 분석을 제시합니다. 이메일당 약 $0.10의 비용으로 에이전트를 운영하는 것은 상당한 비용 부담(Significant Cost)이 될 수 있음을 시사합니다. 이는 AI 도입 시 비용 효율성(Cost-Effectiveness)을 고려한 신중한 접근이 필요함을 보여줍니다.