GNN-RAG: Graph Neural Retrieval für das Reasoning großer Sprachmodelle

Wissensgraphen (KGs) repräsentieren von Menschen erstelltes faktisches Wissen in Form von Tripeln (Kopf, Relation, Schwanz), die zusammen einen Graphen bilden. Fragebeantwortung über KGs (KGQA) ist die Aufgabe, natürliche Fragen zu beantworten, wobei die Schlussfolgerung auf den vom KG bereitgestellten Informationen basiert. Große Sprachmodelle (LLMs) sind die aktuell besten Modelle für QA-Aufgaben aufgrund ihrer bemerkenswerten Fähigkeit, natürliche Sprache zu verstehen. Andererseits werden Graph Neural Networks (GNNs) häufig für KGQA eingesetzt, da sie mit den komplexen Graphinformationen umgehen können, die im KG gespeichert sind. In dieser Arbeit stellen wir GNN-RAG vor, eine neuartige Methode zur Kombination der Sprachverständnisfähigkeiten von LLMs mit den Schlussfolgerungsfähigkeiten von GNNs in einem Retrieval-augmented Generation (RAG)-Stil. Erstens schließt ein GNN über einen dichten KG-Teilgraphen Schlüsse, um Antwortkandidaten für eine gegebene Frage zu finden. Zweitens werden die kürzesten Pfade im KG, die Frageentitäten und Antwortkandidaten verbinden, extrahiert, um KG-Reasoning-Pfade darzustellen. Die extrahierten Pfade werden verbalisert und als Eingabe für das LLM-Reasoning mit RAG gegeben. In unserem GNN-RAG-Framework fungiert das GNN als dichter Teilgraph-Grundierer zur Extraktion nützlicher Graphinformationen, während das LLM seine Fähigkeit zur Verarbeitung natürlicher Sprache für das ultimative KGQA nutzt. Darüber hinaus entwickeln wir eine Retrieval-Augmentierung (RA)-Technik, um die KGQA-Leistung mit GNN-RAG weiter zu verbessern. Experimentelle Ergebnisse zeigen, dass GNN-RAG in zwei weit verbreiteten KGQA-Benchmarks (WebQSP und CWQ) eine Spitzenleistung erzielt und die Leistung von GPT-4 mit einem auf 7B abgestimmten LLM übertrifft oder erreicht. Außerdem übertrifft GNN-RAG bei Mehrfachsprung- und Mehrfachentitätsfragen konkurrierende Ansätze um 8,9–15,5 Prozentpunkte beim Antwort-F1-Wert.