AI 안전, 시스템 프롬프트만으론 부족하다!

시스템 프롬프트 기반 가드레일은 구현이 간단하지만, 과도한 거절(FPR) 문제를 야기한다. 구체적으로, 안전 프롬프트가 추가될수록 정상적인 질문조차 거절될 확률이 높아진다. 프롬프트 순서와 길이에 따라 모델의 규칙 해석이 달라지는 위치 편향도 존재한다.

별도 가드레일은 비용 절감에 효과적이며, 저렴한 모델로 단순 작업을 처리한다. 따라서 고가 LLM 호출 횟수를 줄여 비용 효율성을 높인다. 모델 교체 및 업데이트 시에도 유연하며, 운영 리스크 관리 측면에서도 유리하다.

별도 가드레일은 비용 절감과 유연한 운영을 가능하게 한다. 따라서, 가드레일 모델과 서비스용 LLM을 분리하여 운영하는 것이 효과적이다. 공격의 진화에 대응하기 위해 가드레일은 지속적으로 업데이트되어야 하며, 유연한 아키텍처가 필수적이다.