DomainRAG：一个用于评估特定领域检索增强生成的中文基准

检索增强生成（RAG）为解决大型语言模型（LLMs）在幻觉和难以实时更新等方面的诸多局限提供了有希望的解决方案。该方法在专家和特定领域应用中尤为关键，因为LLMs难以涵盖专业知识。因此，在此类场景中评估RAG模型至关重要，而当前研究通常依赖维基百科等通用知识源来评估模型解决常识问题的能力。本文在特定领域环境——高校招生中，评估了基于RAG设置的LLMs。我们确定了RAG模型所需的六种能力，包括对话式RAG能力、结构信息分析、对外部知识的忠实性、去噪能力、解决时效性问题能力及多文档交互理解能力。每项能力均配有共享语料库的数据集，评估RAG模型表现。我们评估了Llama、百川、ChatGLM及GPT模型等主流LLMs。实验结果表明，现有闭卷LLMs在特定领域问题上表现不佳，凸显了使用RAG模型解决专家问题的必要性。此外，RAG模型在理解对话历史、结构信息分析、去噪、多文档交互处理及专业知识忠实性方面仍有提升空间。期望未来研究能更好地解决这些问题。