Grandes Modelos de Linguagem são Bons Aprendizes Multilíngues Espontâneos: Os Dados Anotados Multilíngues São Necessários?

Recentemente, Grandes Modelos de Linguagem (LLMs) demonstraram capacidades linguísticas impressionantes. Contudo, a maioria dos LLMs existentes é centrada no inglês, apresentando desempenho muito instável e desequilibrado entre diferentes línguas. O alinhamento multilíngue é um método eficaz para aprimorar as capacidades multilíngues dos LLMs. Neste trabalho, exploramos o paradigma de alinhamento multilíngue que utiliza dados de tradução e investigamos de forma abrangente a melhoria multilíngue espontânea dos LLMs. Constatamos que os LLMs treinados por instrução apenas com dados de tradução de perguntas, sem respostas anotadas, conseguem uma melhora significativa no desempenho multilíngue, mesmo em uma ampla gama de línguas não vistas durante o treinamento por instrução. Além disso, utilizamos diferentes configurações e métodos de interpretabilidade mecanicista para analisar de forma abrangente o desempenho dos LLMs no cenário multilíngue.