Votre commande est mon ordre : sur l’évaluation de la généralité centrée sur l’humain des modèles multimodaux (reproduction de résumé)

Même avec des déficiences évidentes, les grands modèles multimodaux commandés par des invites sont en train de s'imposer comme des outils cognitifs flexibles représentant une généralité sans précédent. Mais la directeté, la diversité et le degré d’interaction utilisateur créent une « généralité centrée sur l’humain » (HCG) distinctive, plutôt qu’une généralité pleinement autonome. La HCG implique que — pour un utilisateur spécifique — un système est aussi général qu’il est efficace pour les tâches pertinentes de cet utilisateur et ses modes de sollicitation prédominants. Une évaluation centrée sur l’humain des systèmes d’IA à usage général doit donc refléter la nature personnelle de l’interaction, des tâches et de la cognition. Nous soutenons que la meilleure manière de comprendre ces systèmes est de les considérer comme des prolongements cognitifs fortement couplés, et d’analyser les adaptations cognitives bidirectionnelles entre eux et les humains. Dans cet article, nous proposons une formulation de la HCG ainsi qu’un aperçu général des éléments et compromis impliqués dans le processus de sollicitation. Nous concluons en esquissant des questions de recherche essentielles et des suggestions pour améliorer les pratiques d’évaluation, que nous envisageons comme caractéristiques pour l’évaluation future de l’intelligence artificielle générale.