KI und der Everything in the Whole Wide World Benchmark

Es gibt in verschiedenen Teilbereichen der KI die Tendenz, eine kleine Auswahl einflussreicher Benchmarks aufzuwerten. Diese Benchmarks fungieren als Stellvertreter für eine Reihe von anerkannten gemeinsamen Problemen, die häufig als grundlegende Meilensteine auf dem Weg zu flexiblen und generalisierbaren KI-Systemen dargestellt werden. Der Stand-der-Technik-Stand bei diesen Benchmarks wird allgemein als Indikator für Fortschritte hin zu diesen langfristigen Zielen verstanden. In diesem Positionspapier untersuchen wir die Grenzen solcher Benchmarks, um die Validitätsprobleme in ihrer Darstellung als funktional „allgemeine“ breite Fortschrittsmaße, zu enthüllen, für die sie konzipiert sind.