Ajuste Fino vs. Geração Aumentada por Recuperação para Conhecimento Menos Popular

Modelos de Linguagem (LMs) memorizam uma vasta quantidade de conhecimento factual, exibindo forte desempenho em tarefas e domínios diversos. Contudo, foi observado que o desempenho diminui ao lidar com conceitos e entidades menos populares ou de baixa frequência, por exemplo, em aplicações específicas de domínio. As duas abordagens principais para aprimorar o desempenho dos LMs em tópicos de baixa frequência são: Geração Aumentada por Recuperação (RAG) e ajuste fino (FT) sobre dados sintéticos. Este artigo explora e avalia o impacto de RAG e FT na customização de LMs para lidar com entidades de baixa frequência em tarefas de perguntas e respostas. Realizamos experimentos extensivos em doze LMs de diferentes tamanhos e tipos, além de diversos modelos de ajuste fino, aumento de dados e recuperação. Nossas descobertas indicam que, embora o FT aumente o desempenho em entidades de diferentes popularidades, o RAG supera o FT por uma margem ampla, particularmente para o conhecimento factual menos popular. Adicionalmente, o sucesso de ambas as abordagens, RAG e FT, é amplificado pela melhoria das técnicas de recuperação e aumento de dados. O ajuste fino, embora benéfico para LMs pequenos, requer recursos extensivos. Para resolver essa questão, propomos a nova abordagem Stimulus RAG, que supera a eficácia das abordagens baseadas em ajuste fino, eliminando assim a necessidade do caro passo de aumento de dados e ajuste fino para enriquecer LMs com conhecimento factual menos popular. O código está disponível em https://github.com/informagi/RAGvsFT.