IA e o Benchmark Tudo no Mundo Inteiro

Há uma tendência em diferentes subcampos da IA de valorizar uma pequena coleção de benchmarks influentes. Esses benchmarks funcionam como representantes de uma variedade de problemas consagrados que frequentemente são apresentados como marcos fundamentais no caminho para sistemas de IA flexíveis e generalizáveis. O desempenho de vanguarda nesses benchmarks é amplamente entendido como indicativo de progresso em direção a esses objetivos de longo prazo. Neste artigo de posicionamento, exploramos os limites desses benchmarks para revelar problemas de validade de construto na forma como são enquadrados como medidas amplas e funcionalmente "gerais" de progresso que se propõem a ser.