Ajuste Fino de Grandes Modelos de Linguagem para Tradução: Será que um Toque de Dados Ruídos em Línguas Desalinhadas é Suficiente?

Tradicionalmente, o sucesso na tradução automática multilíngue pode ser atribuído a três fatores-chave nos dados de treinamento: grande volume, direções de tradução diversas e alta qualidade. Na prática atual de ajuste fino de grandes modelos de linguagem (LLMs) para tradução, revisitamos a importância de todos esses fatores. Descobrimos que LLMs exibem forte capacidade de tradução após serem ajustados finamente com apenas 32 exemplos de treinamento, e que o ajuste fino em uma única direção de tradução permite efetivamente que os LLMs traduzam em múltiplas direções. No entanto, a escolha da direção é crítica: ajustar finamente LLMs com o inglês no lado alvo pode levar a uma má interpretação da tarefa, o que dificulta traduções para línguas não inglesas. Um problema semelhante surge quando ruído é introduzido no lado alvo dos dados paralelos, especialmente quando a língua alvo é bem representada no pré-treinamento do LLM. Em contraste, ruído em uma língua pouco representada tem um efeito menos pronunciado. Nossas descobertas sugerem que atingir um alinhamento bem-sucedido depende de ensinar o modelo a manter um foco "superficial", evitando assim a aprendizagem de vieses errôneos além da tradução.