AI와 전 세계 만능 벤치마크

AI의 다양한 하위 분야에서 소수의 영향력 있는 벤치마크를 높이 평가하는 경향이 있습니다. 이 벤치마크들은 유연하고 일반화 가능한 AI 시스템으로 가는 경로상의 기초적 이정표로 자주 제시되는 공통 문제들의 대리 역할을 합니다. 이 벤치마크에서의 최신 성능은 이러한 장기 목표 달성의 진전을 나타내는 것으로 널리 이해됩니다. 본 입장 논문에서는 이 벤치마크들이 기능적으로 "일반적인" 광범위한 진보 측정 기준으로 설정된 것에 내재된 구성 타당성 문제를 밝히기 위해 이들의 한계를 탐구합니다.