AI가 생성한 HTML 파서, 과연 안전할까?

저자는 LLM의 결정론적이지 않은 특성(Non-Deterministic Nature)과 자기 성찰 능력 부재(Lack of Introspection)를 지적하며, AI가 생성한 코드의 신뢰성에 대한 근본적인 의문을 제기했다. AI는 종종 의도하지 않은 방식으로 동작하며, 그 이유를 설명하거나 수정하기 어렵다. 이는 AI가 훈련 데이터에 존재하는 취약점을 학습하여 코드에 반영할 수 있음을 의미하며, 데이터 미저장 정책(Zero-Retention Policy)을 적용하기 어렵게 만든다.

본 논의는 AI 코딩 에이전트가 코드 번역(Code Translation)을 수행하는 대신, 훈련 데이터를 기반으로 새로운 구현을 생성하는 경향을 보인다는 점을 강조한다. 이는 AI가 주어진 문제를 해결하기 위해 다양한 솔루션(Various Solutions)을 제시할 수 있지만, 원본 코드의 의도를 정확하게 반영하지 못할 수 있음을 의미한다. 따라서, AI의 역할은 코드 번역보다는 코드 생성(Code Generation)에 더 가깝게 정의되어야 하며, 코드 품질 검증을 위한 추가적인 노력이 필요하다.