RAG Agente Eficiente y Transferible de Grafos de Conocimiento vía Aprendizaje por Refuerzo

La generación aumentada por recuperación de grafos de conocimiento (KG-RAG) combina grandes modelos de lenguaje (LLMs) con grafos de conocimiento (KGs) estructurados y verificables para reducir alucinaciones y exponer trazas de razonamiento. Sin embargo, muchos sistemas KG-RAG componen múltiples módulos LLM (por ejemplo, planificación, razonamiento y respuesta), lo que incrementa el costo de inferencia y vincula el comportamiento a un KG objetivo específico. Para abordar esto, presentamos KG-R1, un marco agente de generación aumentada por recuperación de KG (KG-RAG) mediante aprendizaje por refuerzo (RL). KG-R1 utiliza un único agente que interactúa con los KGs como su entorno, aprendiendo a recuperar información en cada paso e incorporando la información recuperada a su razonamiento y generación. El proceso se optimiza mediante RL de extremo a extremo. En experimentos controlados a través de puntos de referencia de Preguntas y Respuestas basadas en Grafos de Conocimiento (KGQA), nuestro método demuestra tanto eficiencia como transferibilidad: Usando Qwen-2.5-3B, KG-R1 mejora la precisión de las respuestas con menos tokens de generación que métodos previos de flujo de trabajo multi-módulo que usan modelos base o afinados más grandes. Además, KG-R1 permite plug and play: tras el entrenamiento, mantiene alta precisión en nuevos KGs sin modificaciones. Estas propiedades hacen de KG-R1 un marco KG-RAG prometedor para implementación en el mundo real. Nuestro código está disponible públicamente en https://github.com/Jinyeop3110/KG-R1.