kakao카카오

AI TOP 100, AI 시대 문제 해결 능력 평가를 위한 혁신적인 경진대회

by DD
6개월 전
조회수 17

AI TOP 100은 AI 시대의 문제 해결 능력을 평가하기 위한 경진대회로, 단순히 AI 도구 사용을 넘어 협업 능력을 강조함

Human-in-the-loop 원칙을 기반으로, AI와 사람의 협업 과정을 평가하며, 문제의 명확성과 AI의 한계를 활용

데이터셋 개인화 및 난이도 사다리 전략을 통해 공정성을 확보하고, AI 모델 발전에도 변별력을 유지함

Human-in-the-loop: 문제 해결의 핵심

Human-in-the-loop는 AI가 아닌 사람의 분석 능력을 강조한다. 구체적으로, 사람의 분석을 통해 AI의 문제 해결 과정을 개선한다. 따라서, AI의 한계를 보완하고 문제 해결 능력을 향상시키는 데 기여한다.

난이도 설계: 명확성과 변별력의 조화

대회는 명확한 정답을 가지면서도 AI가 쉽게 풀 수 없는 미로를 설계했다. 따라서, 난이도 사다리를 통해 진입 장벽을 낮추고, 킬러 문항으로 변별력을 확보했다. 결과적으로, AI 활용 능력과 문제 해결 능력을 동시에 평가한다.

어뷰징 방지: 공정성 확보 전략

대회는 데이터셋 개인화를 통해 부정 행위를 차단했다. 구체적으로, 참가자마다 다른 데이터셋을 적용하여, 답 공유를 무력화했다. 반면, 문제 해결의 난이도와 복잡도에는 영향을 주지 않도록 철저한 검증을 거쳤다.

[AI_TOP_100] 문제 출제 후기 – 기술이 아닌, 사람을 묻다.
원문 읽기