AI 보안 모델 규제 논란: 'Fix this code' 프롬프트의 진실

커뮤니티에서는 Fable 5의 'Fix this code' 프롬프트가 보안 취약점 탐지 및 수정이라는 방어적 목적을 가졌음에도 불구하고, 이를 통해 생성된 코드가 공격 코드 생성으로 이어질 수 있다는 점에 주목합니다. 특히, 데이터 미저장 정책(Zero-Retention Policy)이 적용되지 않은 상태에서 이러한 기능이 악용될 경우, 방어자뿐만 아니라 공격자에게도 유용한 정보를 제공할 수 있다는 우려가 제기됩니다. 이는 LLM의 본질적인 양면성(Dual Nature)을 보여주는 사례로 지적됩니다.

일부 논평에서는 이번 수출 통제 조치가 정치적 동기(Political Motivation)에 의한 보복성 조치일 가능성을 제기합니다. 또한, 오픈 웨이트 모델의 발전 속도를 고려할 때 특정 모델에 대한 수출 통제(Export Control)가 장기적으로 실효성이 있을지에 대한 의문도 함께 제기됩니다. 중국 등 경쟁국의 유사 기술 발전 가능성을 언급하며, 방어 역량 약화(Weakening Defensive Capabilities)를 초래할 수 있다는 비판이 나옵니다.

Katie Moussouris와 같은 보안 전문가들은 'Fix this code'와 같은 프롬프트가 정상적인 방어 활동의 일부이며, AI 모델이 버그를 찾고 수정하는 능력은 사이버 보안 강화에 필수적이라고 주장합니다. 이들은 해당 기능이 가드레일 우회(Guardrail Bypass)나 탈옥(Jailbreak)에 해당하지 않으며, 오히려 AI 모델을 방어적 보안 루프(Defensive Security Loop)에 활용하는 가장 가치 있는 방법이라고 강조합니다. 따라서 규제 당국에 조속한 조치 철회를 촉구하고 있습니다.

논의에서는 LLM이 취약점을 식별하고 수정하는 능력 자체가 문제의 핵심일 수 있다는 의견도 있습니다. 만약 모델이 백도어와 같은 의도적인 보안 허점(Intentional Backdoors)을 수정할 수 있다면, 이는 예상치 못한 결과를 초래할 수 있습니다. 이러한 능력은 모델을 무용지물(Useless)로 만들거나, 반대로 심각한 보안 위험(Significant Security Risk)을 초래할 수 있다는 점에서, 개발자 커뮤니티는 트레이드오프(Trade-offs)에 대한 깊은 고민이 필요함을 시사합니다.