Los Grandes Modelos de Lenguaje son Buenos Aprendices Multilingües Espontáneos: ¿Es Necesario el Datos Anotado Multilingüe?

Recientemente, los Grandes Modelos de Lenguaje (LLMs) han demostrado impresionantes capacidades lingüísticas. Sin embargo, la mayoría de los LLMs existentes están centrados en el inglés, presentando un rendimiento muy inestable y desequilibrado a través de diferentes idiomas. La alineación multilingüe es un método efectivo para mejorar las capacidades multilingües de los LLMs. En este trabajo, exploramos el paradigma de alineación multilingüe que utiliza datos de traducción e investigamos exhaustivamente la mejora multilingüe espontánea de los LLMs. Encontramos que los LLMs ajustados solo con instrucciones basadas en datos de traducción de preguntas sin respuestas anotadas pueden obtener una mejora significativa en el rendimiento multilingüe, incluso en una amplia gama de idiomas no vistos durante el ajuste por instrucciones. Adicionalmente, utilizamos diferentes configuraciones y métodos de interpretabilidad mecanicista para analizar exhaustivamente el rendimiento de los LLMs en escenarios multilingües.