Contraintuitivo: Los modelos de lenguaje grande pueden comprender mejor los grafos de conocimiento de lo que pensábamos

Aunque el método de mejorar la capacidad de razonamiento de los grandes modelos de lenguaje (LLMs) y reducir sus alucinaciones mediante el uso de grafos de conocimiento (KGs) ha recibido amplia atención, la exploración de cómo permitir que los LLMs integren el conocimiento estructurado en los KGs de forma dinámica sigue siendo insuficiente. Los investigadores a menudo entrenan conjuntamente las incrustaciones de KG y los parámetros de LLM para dotar a los LLMs de la capacidad de comprender el conocimiento de KG. Sin embargo, este paradigma de entrenamiento que consume muchos recursos aumenta significativamente el costo de aprendizaje del modelo y también es inapropiado para LLMs de caja negra no open source. En este artículo, utilizamos la respuesta a preguntas complejas (CQA) como una tarea para evaluar la capacidad del LLM de comprender el conocimiento de KG. Realizamos una comparación exhaustiva de los métodos de inyección de conocimiento de KG (desde tripletas hasta texto en lenguaje natural), con el objetivo de explorar el método de prompting óptimo para suministrar conocimiento de KG a los LLMs, mejorando así su comprensión de KG. Contrario a nuestras expectativas iniciales, nuestro análisis reveló que los LLMs manejan efectivamente el conocimiento de KG desordenado, ruidoso y linealizado, superando a los métodos que emplean prompts textuales bien diseñados en lenguaje natural. Este hallazgo contraintuitivo proporciona ideas sustanciales para la investigación futura sobre la comprensión del conocimiento estructurado por parte de los LLMs.