通过强化学习实现高效且可迁移的自主知识图谱RAG

知识图谱检索增强生成（KG-RAG）结合了大型语言模型（LLMs）与结构化、可验证的知识图谱（KGs），以减少幻觉现象并揭示推理轨迹。然而，许多KG-RAG系统由多个LLM模块组成（如规划、推理和响应），这增加了推理成本，并使行为绑定于特定目标KG。为此，我们提出了KG-R1，一个通过强化学习（RL）实现的自主KG检索增强生成框架。KG-R1使用单一代理，将KG视为环境，在每一步学习检索并将检索信息融入推理和生成过程。该过程通过端到端强化学习进行优化。在多个知识图谱问答（KGQA）基准的控制实验中，我们的方法展现了效率与可迁移性：使用Qwen-2.5-3B，KG-R1在比先前使用更大基础模型或微调模型的多模块工作流方法更少的生成tokens下提升了答案准确性。此外，KG-R1实现了即插即用：训练后，在新知识图谱上无需修改即可保持较强准确率。这些特性使KG-R1成为适合实际部署的KG-RAG框架。我们的代码已公开，地址：https://github.com/Jinyeop3110/KG-R1。