FiD-Light：高效且有效的检索增强文本生成

检索增强生成模型相较于独立语言模型提供了许多优势：除了针对给定查询生成文本答案外，还能提供来自可更新知识库的来源信息。然而，这些模型结构更复杂且需处理长输入。在本研究中，我们提出FiD-Light，以大幅提升最先进的检索增强FiD模型的效率，同时保持相同水平的效果。我们的FiD-Light模型限制了来自编码器（分别对段落编码）到解码器（使用拼接编码表示）之间的信息流。此外，我们通过文本源指针赋予FiD-Light重排序能力，以提升排名最高的来源精确度。我们在七个多样化的知识密集型任务（KILT）上的实验表明，FiD-Light持续改善查询延迟与效果之间的帕累托前沿。带有源指针的FiD-Light在六个KILT任务的文本生成和来源检索联合评估中设定了显著的新最先进水平，同时保持高效率。