De Agulhas Artificiais a Palheiros Reais: Melhorando as Capacidades de Recuperação em LLMs por Meio de Fine-tuning com Dados Sintéticos

Estudos recentes mostraram que Grandes Modelos de Linguagem (LLMs) têm dificuldades em recuperar informações com precisão e manter capacidades de raciocínio ao processar entradas de contexto longo. Para enfrentar essas limitações, propomos uma abordagem de fine-tuning utilizando um conjunto de dados sintético cuidadosamente elaborado, composto por tarefas numéricas de recuperação chave-valor. Nossos experimentos em modelos como GPT-3.5 Turbo e Mistral 7B demonstram que o fine-tuning dessas LLMs com esse conjunto de dados melhora significativamente as capacidades de recuperação de informação e de raciocínio em contextos longos. Apresentamos uma análise dos modelos fine-tunados, ilustrando a transferência das habilidades do sintético para as avaliações de tarefas reais (por exemplo, melhoria de 10,5% em MDQA com 20 documentos na posição 10 para GPT-3.5 Turbo). Também constatamos que o desempenho dos LLMs fine-tunados em benchmarks gerais permanece quase constante, enquanto LLMs fine-tunados com outros dados baseline de aumento de contexto longo podem incentivar alucinações (por exemplo, em TriviaQA, Mistral 7B fine-tunado com nosso dado sintético não apresenta queda de desempenho, enquanto outros dados baseline podem causar uma queda variando de 2,33% a 6,19%). Nosso estudo destaca o potencial do fine-tuning baseado em dados sintéticos para aprimorar o desempenho das LLMs em tarefas de contexto mais longo.