Les grands modèles de langage sont de bons apprenants multilingues spontanés : les données annotées multilingues sont-elles nécessaires ?

Récemment, les grands modèles de langage (LLMs) ont démontré des capacités linguistiques impressionnantes. Cependant, la plupart des LLMs existants sont centrés sur l'anglais, ce qui engendre des performances très instables et déséquilibrées selon les langues. L'alignement multilingue est une méthode efficace pour améliorer les capacités multilingues des LLMs. Dans ce travail, nous explorons le paradigme d'alignement multilingue qui utilise des données de traduction et nous étudions de manière approfondie l'amélioration multilingue spontanée des LLMs. Nous constatons que les LLMs uniquement ajustés par instruction sur des données de traduction de questions sans réponses annotées sont capables d'obtenir une amélioration significative des performances multilingues, même pour un large éventail de langues non vues lors de l'ajustement par instruction. De plus, nous utilisons différents paramètres et des méthodes d'interprétabilité mécaniste pour analyser de manière complète la performance des LLMs dans le scénario multilingue.