AI 헛소리, 이제 안녕! 할루시네이션(Hallucination) 완벽 분석

발표자는 AI가 사실이 아닌 내용을 사실처럼 말하는 할루시네이션(Hallucination) 현상이 현대 LMM의 학습 방식과 평가 방식의 결합으로 유도되는 부작용에 가깝다고 설명한다. 모델은 진실과 거짓을 구분하는 대신, 다음에 나올 법한 단어를 맞추는 기계이기에, 정답률(Accuracy)만 평가하는 방식은 모델에게 대충 찍는 것이 유리한 구조를 만든다고 지적한다. 발표자는 이러한 구조적 문제로 인해 할루시네이션(Hallucination)이 발생한다고 강조한다.

영상에서는 모델 훈련 단계에서 데이터 필터링을 통해 고품질 데이터 비중을 높이고, 강화 학습과 같은 보상 설계를 통해 모델이 모를 때 모른다고 말하도록 유도한다고 설명한다. 체인 오브 소트(Chain of Thought) 방식을 활용하여 생각 과정을 먼저 쓰고 검증한 뒤 최종 답을 내도록 하는 검증형 훈련을 진행한다. 발표자는 이러한 훈련 방식을 통해 할루시네이션(Hallucination) 발생 빈도를 줄일 수 있다고 강조한다.

발표자는 시스템 아키텍처 레벨에서 RAG(Retrieval-Augmented Generation) 기술을 활용하여 모델이 외부 데이터베이스에 질문하도록 설계하고, 계산기, 코드 실행, 웹 검색, API 등을 직접 활용하도록 하여 AI가 추측하는 대신 특정 툴로 답을 구하도록 한다고 설명한다. 제품 UX 레벨에서는 모델이 틀릴 수 있다는 전제를 깔고, 링크, 소스 인용, 강조 표시 등을 통해 사람이 검증하기 쉽게 만들고, 특정 도메인에서는 자동/반자동 팩트 체킹을 보충하는 형태를 고려한다.

영상에 따르면 오픈AI(OpenAI)는 새로운 평가 방식을 통해 정답, 오답, 기권 세 가지를 분류하고, 오답에 더 큰 페널티를 주는 방식으로 할루시네이션(Hallucination)을 줄이려 한다. 구글(Google)은 Gemini 3 Pro 모델에서 정확도를 높이는 동시에 할루시네이션(Hallucination)을 줄이기 위해 노력하고 있다. XAI는 실시간 트위터 데이터, 웹 데이터를 활용하여 지식의 최신성을 확보하고, 모델 구조를 강한 추론, 코딩 능력 쪽으로 튜닝하여 단순 암기보다는 생각하는 모델을 지향한다. 앤트로픽(Anthropic)은 사용자 지침, 제품 UX에 집중하여 할루시네이션(Hallucination)을 줄이는 데 주력한다.