AGI 벤치마크 ARC-AGI-3, 과연 인간 지능을 측정할 수 있을까?

커뮤니티에서는 ARC-AGI-3의 점수 산정 방식(Scoring System)에 대한 의문을 제기하며, 특히 인간 기준(Human Baseline) 설정의 적절성을 지적했다. 두 번째로 빠른 인간의 해결 시간을 기준으로 삼는 방식은 AI의 실제 성능을 과대평가할 수 있다는 것이다. 또한, 벤치마크가 효율성(Efficiency)에 초점을 맞추면서, AI가 문제를 해결하는 과정의 다양성을 충분히 반영하지 못한다는 비판도 제기되었다.

일부 의견에서는 AGI를 인간의 지능과 동일시하는 접근 방식에 대한 근본적인 의문을 제기했다. 인간과 AI의 문제 해결 방식의 차이를 인정하고, AI가 인간과는 다른 방식으로 문제를 해결할 수 있다는 점을 강조했다. AGI의 정의(Definition)를 인간 지능에 국한하지 않고, AI 고유의 강점을 활용하는 방향으로 발전시켜야 한다는 주장도 제기되었다.

벤치마크의 비용 효율성(Cost Efficiency)에 대한 논의도 이루어졌다. 벤치마크의 성능 향상을 위해 막대한 컴퓨팅 자원이 투입되는 현실을 지적하며, 자원 소비(Resource Consumption)를 고려한 평가 방식의 필요성을 강조했다. 또한, 벤치마크가 특정 도구의 사용을 제한(Tool Usage Restriction)하는 방식에 대한 의문과, 훈련 데이터(Training Data)에 대한 의존성을 줄여야 한다는 의견도 제시되었다.

ARC-AGI-3와 같은 벤치마크가 AI 연구 및 개발에 미치는 영향에 대한 다양한 의견이 제시되었다. 벤치마크가 AI의 지속적인 학습 능력(Continuous Learning)과 문제 해결 능력(Problem Solving)을 측정하는 데 기여할 수 있다는 긍정적인 평가가 있는 반면, 벤치마크가 AI의 실제 능력(Actual Capability)을 제대로 반영하지 못할 수 있다는 우려도 제기되었다. AI의 발전 방향에 대한 다양한 시각이 공존하는 가운데, 벤치마크의 역할과 한계에 대한 지속적인 논의가 필요하다.