AI, 50미터 세차는 왜 어려울까?

테스트 결과에 따르면, 일부 모델은 단일 실행에서는 정답을 맞혔지만, 반복 테스트에서 일관성을 잃고 오답을 선택했다. 이는 모델이 단순한 패턴 매칭(Pattern Matching)에 의존하거나, 문제의 핵심을 파악하지 못하고 피상적인 정보(Superficial Information)에 갇히는 경향을 보여준다. 특히, Perplexity의 Sonar 모델은 정답을 맞히면서도 잘못된 이유를 제시하는 등, AI 환각(Hallucination)의 위험성을 드러냈다.

인간은 '세차' 문제에 대해 직관적으로 정답을 선택하지만, AI 모델은 거리의 짧음(Short Distance)에 초점을 맞춰 '걷는 것이 효율적'이라는 오답을 선택하는 경향을 보였다. 이는 AI 모델이 세상에 대한 이해(World Model)가 부족하며, 문제의 맥락을 제대로 파악하지 못함을 의미한다. 71.5%의 인간 정답률은 문제의 모호성을 시사하며, AI 모델의 추론 능력 향상의 필요성을 강조한다.

테스트 결과는 AI 모델의 성능 향상을 위해 컨텍스트 엔지니어링(Context Engineering)의 중요성을 시사한다. 즉, 모델에 구조화된 예시(Structured Examples), 도메인 패턴(Domain Patterns), 관련 컨텍스트(Relevant Context)를 제공함으로써, 모델이 일반적인 휴리스틱(Heuristic)을 극복하고, 문제 해결에 필요한 특정 추론(Task-Specific Reasoning)을 수행하도록 돕는 것이다. 이는 실제 프로덕션 환경에서 AI 모델의 신뢰성을 높이는 데 필수적이다.

테스트에 참여한 53개 모델 중, Claude Opus 4.6, Gemini 2.0 Flash Lite, Gemini 3 Flash, Gemini 3 Pro, Grok-4 등 5개 모델만이 10회 반복 테스트에서 일관된 정답을 제시했다. GPT-5는 7/10의 성공률을 보였지만, 나머지 모델들은 인간의 평균 성능에도 미치지 못했다. 특히, Llama 및 Mistral 모델은 일관적으로 오답을 선택하여, 모델 선택의 중요성(Model Selection)과 함께 모델의 한계(Model Limitations)를 명확히 보여주었다.