À quoi les grands modèles de langage correspondent-ils dans le cerveau ? Un argument contre une dépendance excessive aux scores cérébraux

Compte tenu des capacités remarquables des grands modèles de langage (LLMs), l'intérêt pour l'évaluation de leur similarité avec le cerveau humain s'est accru. Une approche pour quantifier cette similarité consiste à mesurer la capacité d'un modèle à prédire les signaux neuronaux, appelée « score cérébral ». Les représentations internes des LLMs atteignent des scores cérébraux à la pointe de la technologie, ce qui conduit à supposer qu'ils partagent des principes computationnels avec le traitement du langage humain. Cette inférence n'est valide que si le sous-ensemble d'activité neuronale prédit par les LLMs reflète les éléments fondamentaux du traitement du langage. Ici, nous remettons en question cette hypothèse en analysant trois jeux de données neuronales utilisés dans une étude influente sur les correspondances entre LLM et cerveau, en nous focalisant particulièrement sur un jeu de données fMRI où les participants lisent de courts passages. Nous constatons d'abord que lorsque nous utilisons des divisions entraînement-test aléatoires, comme dans les études précédentes avec ces jeux de données, une caractéristique triviale codant l'autocorrélation temporelle surpasse non seulement les LLMs mais explique aussi la majorité de la variance neuronale capturée par les LLMs. Nous utilisons donc des divisions contiguës par la suite. Deuxièmement, nous expliquons les scores cérébraux étonnamment élevés des LLMs non entraînés en montrant qu'ils n'expliquent pas de variance neuronale supplémentaire au-delà de deux caractéristiques simples : la longueur et la position de la phrase. Cela remet en cause les preuves utilisées pour affirmer que l'architecture transformer favorise un biais computationnel plus proche du cerveau. Troisièmement, nous constatons que les scores cérébraux des LLMs entraînés sur ce jeu de données peuvent largement être expliqués par la longueur, la position et les embeddings statiques de mots déconstruits par des pronoms ; une petite part additionnelle est expliquée par des embeddings spécifiques au sens et des représentations contextuelles de la structure de la phrase. Nous concluons que la dépendance excessive aux scores cérébraux peut conduire à une surinterprétation de la similarité entre LLMs et cerveaux, et soulignons l'importance de déconstruire ce que les LLMs cartographient dans les signaux neuronaux.