增强检索与管理检索：四模块协同提升RAG系统的质量与效率

检索增强生成（RAG）技术利用大型语言模型（LLMs）的上下文学习能力，生成更准确和相关的响应。RAG框架源自简单的“检索然后阅读”方法，现已发展成高度灵活和模块化的范式。关键组件之一，查询重写模块，通过生成易于搜索的查询来增强知识检索，使输入问题更贴近知识库。我们的研究发现可以通过生成多个查询以克服单一查询带来的信息瓶颈（Information Plateaus），并通过重写问题以消除歧义（Ambiguity），从而澄清潜在意图，进一步强化查询重写模块至查询重写+（Query Rewriter+）。我们还发现当前RAG系统存在无关知识（Irrelevant Knowledge）问题，针对这一点，我们提出了知识过滤器（Knowledge Filter）。这两个模块均基于指令调优的Gemma-2B模型，共同提升响应质量。另一个识别出的问题是冗余检索（Redundant Retrieval）；我们引入了记忆知识库（Memory Knowledge Reservoir）和检索触发器（Retriever Trigger）来解决该问题。前者支持无参数动态扩展RAG系统的知识库，后者优化访问外部知识的成本，从而提升资源利用率和响应效率。这四个RAG模块协同作用，提升了RAG系统的响应质量与效率。相关模块效果已通过六个常见问答数据集的实验和消融研究得到验证。源代码可访问 https://github.com/Ancientshi/ERM4。