FiD-Light: Geração de Texto Aumentada por Recuperação Eficiente e Eficaz

Modelos de geração aumentada por recuperação oferecem muitos benefícios em relação a modelos de linguagem independentes: além de uma resposta textual para uma dada consulta, eles fornecem itens de procedência recuperados de uma base de conhecimento atualizável. Contudo, são sistemas mais complexos e precisam lidar com entradas longas. Neste trabalho, introduzimos o FiD-Light para aumentar fortemente a eficiência do modelo FiD de última geração aumentado por recuperação, mantendo o mesmo nível de eficácia. Nosso modelo FiD-Light restringe o fluxo de informações do codificador (que codifica passagens separadamente) para o decodificador (que utiliza representações codificadas concatenadas). Além disso, adaptamos o FiD-Light com capacidades de reclassificação por meio de ponteiros textuais da fonte, para melhorar a precisão dos itens de procedência classificados em primeiro lugar. Nossos experimentos em um conjunto diversificado de sete tarefas intensivas em conhecimento (KILT) mostram que o FiD-Light melhora consistentemente a fronteira de Pareto entre latência da consulta e eficácia. O FiD-Light com apontamento da fonte estabelece resultados substancialmente novos de última geração em seis tarefas KILT para avaliação combinada de geração de texto e recuperação de procedência, mantendo alta eficiência.