Analisando e Adaptando Grandes Modelos de Linguagem para Aprendizado Multilíngue com Poucos Exemplos em NLU: Já Chegamos Lá?

A afinação supervisionada (SFT), o ajuste supervisionado por instruções (SIT) e o aprendizado em contexto (ICL) são três abordagens alternativas e de fato padrões para aprendizado com poucos exemplos. ICL ganhou popularidade recentemente com o advento dos LLMs devido à sua simplicidade e eficiência na amostragem. Pesquisas anteriores investigaram de forma limitada como essas abordagens funcionam para aprendizado multilíngue com poucos exemplos, e o foco até agora tem sido principalmente no desempenho. Neste trabalho, apresentamos uma comparação extensa e sistemática das três abordagens, testando-as em 6 idiomas de alta e baixa disponibilidade de recursos, três diferentes tarefas de NLU e uma infinidade de configurações de idioma e domínio. Importante, o desempenho é apenas um aspecto da comparação, onde também analisamos as abordagens sob a ótica de seus custos computacionais, de inferência e financeiros. Nossas observações mostram que o ajuste supervisionado por instruções possui o melhor equilíbrio entre desempenho e requisitos de recursos. Como outra contribuição, analisamos o impacto da adaptação do idioma alvo em LLMs pré-treinados e constatamos que as abordagens padrão de adaptação podem (superficialmente) melhorar as capacidades de geração no idioma alvo, mas o entendimento da linguagem provocado pelo ICL não melhora e permanece limitado, com baixos escores especialmente para idiomas de baixa disponibilidade.