OpenAI, AI 환각 현상의 원인과 해결책 제시

OpenAI 연구에 따르면, 언어 모델의 '환각'은 정확도 중심 평가가 추측을 장려하여 발생

정답률은 비슷하지만, 모델이 '모르겠다' 대신 추측을 선택하여 오답률(환각률) 증가

불확실성 표현에 대한 긍정적 평가를 통해 환각률 감소 및 평가 체계 개편 필요

환각의 근본 원인: 평가 체계의 문제

현재 언어 모델은 정답률을 중심으로 평가받아, '모르겠다'는 답변보다 추측을 선호한다. 따라서 오답(환각)을 생성하더라도 정확도 지표는 높게 유지된다. 구체적으로, 불확실성을 표현하는 모델보다 추측하는 모델이 더 높은 점수를 받도록 설계되어 있다.

환각률 감소를 위한 평가 방식 제안

OpenAI는 불확실성 표현에 대한 긍정적 평가를 통해 환각률을 낮추는 방안을 제시한다. 오답에는 강한 패널티를 부여하고, '모르겠다'와 같은 불확실성 표현에는 부분 점수를 부여하는 방식이다. 따라서, 모델이 정확도와 불확실성 사이에서 균형을 찾도록 유도한다.

GPT-5에서 개선된 환각률, 향후 과제

OpenAI는 GPT-5에서 환각률을 낮추는 데 성공했으며, 향후에도 자신감 있는 오류(confident errors) 최소화에 집중할 예정이다. 결과적으로, 모델 성능 개선뿐만 아니라 평가 체계 개편을 통해 환각 문제를 해결하려는 노력이 중요하다. 따라서, 정확도 중심의 리더보드 변화가 필요하다.