AGI 발전을 측정하는 새로운 프레임워크와 캐글 해커톤 개최

지각(Perception): 환경으로부터 감각 정보를 추출하고 처리

생성(Generation): 텍스트, 음성, 행동 등 출력 생성

주의력(Attention): 중요한 것에 인지 자원 집중

학습(Learning): 경험과 지시를 통해 새로운 지식 습득

기억(Memory): 정보를 저장하고 검색

추론(Reasoning): 논리적 추론을 통해 유효한 결론 도출

메타인지(Metacognition): 자신의 인지 과정에 대한 지식 및 모니터링

실행 기능(Executive functions): 계획, 억제, 인지 유연성

문제 해결(Problem solving): 특정 도메인 문제에 대한 효과적인 해결책 찾기

사회적 인지(Social cognition): 사회적 정보 처리 및 적절한 반응

광범위한 인지 과제 평가: 각 인지 능력을 포괄하는 다양한 인지 과제에 대해 AI 시스템 평가, 데이터 오염 방지를 위해 보류된 테스트 세트(Held-out Test Sets) 사용

인간 기준선 수집: 동일한 과제에 대해 인구 통계학적으로 대표적인 성인 표본으로부터 인간 기준선 데이터 수집

AI 시스템 성능 매핑: 각 인지 능력에서 AI 시스템의 성능을 인간 성능 분포와 비교하여 매핑

평가 격차가 큰 5가지 인지 능력: 학습, 메타인지, 주의력, 실행 기능, 사회적 인지

커뮤니티 벤치마크 플랫폼 활용: 캐글(Kaggle)의 Community Benchmarks 플랫폼을 사용하여 평가 도구 구축 및 테스트

총 $200,000 상금: 각 트랙별 상위 2개 팀에 $10,000, 전체 최고 4개 팀에 $25,000의 상금 지급

평가 프레임워크 개선: 지속적인 연구를 통해 프레임워크를 개선하고, 새로운 인지 능력을 추가

다양한 평가 방법론 도입: 인지 능력 평가 외에도, AGI의 발전을 측정하기 위한 다양한 방법론 도입

학계 및 산업계 협력: AGI 발전을 위한 연구를 가속화하기 위해 학계 및 산업계와의 협력 강화