Étude de l'alignement culturel des grands modèles de langage

La relation complexe entre langue et culture fait depuis longtemps l'objet d'explorations en anthropologie linguistique. Les grands modèles de langage (LLMs), promus comme des réservoirs de connaissances humaines collectives, posent une question essentielle : ces modèles incarnent-ils réellement les connaissances diverses adoptées par différentes cultures ? Notre étude révèle que ces modèles manifestent un alignement culturel plus marqué sur deux dimensions : premièrement, lorsqu'ils sont sollicités dans la langue dominante d'une culture spécifique, et deuxièmement, lorsqu'ils sont préentraînés avec un mélange raffiné de langues employées par cette culture. Nous quantifions l'alignement culturel en simulant des enquêtes sociologiques, en comparant les réponses des modèles à celles des participants réels comme références. Plus précisément, nous reproduisons une enquête réalisée dans différentes régions d'Égypte et des États-Unis en sollicitant les LLMs avec différentes combinaisons de données de préentraînement en arabe et en anglais, en incarnant les profils des répondants réels et en posant les questions de l'enquête. Une analyse approfondie révèle que le désalignement s'accentue pour les profils sous-représentés et pour les sujets culturellement sensibles, comme ceux portant sur les valeurs sociales. Enfin, nous introduisons l'« Anthropological Prompting », une nouvelle méthode utilisant le raisonnement anthropologique pour améliorer l'alignement culturel. Notre étude souligne la nécessité d'un jeu de données de préentraînement multilingue plus équilibré afin de mieux représenter la diversité de l'expérience humaine et la pluralité des cultures, avec de nombreuses implications pour le transfert interlinguistique.