Graph Neural Prompting mit großen Sprachmodellen

Große Sprachmodelle (LLMs) haben bemerkenswerte Generalisierungsfähigkeiten und erzielen außergewöhnliche Leistungen in verschiedenen Aufgaben der Sprachmodellierung. Dennoch zeigen sie immer noch inhärente Einschränkungen bei der präzisen Erfassung und Wiedergabe von fundiertem Wissen. Während bestehende Arbeiten die Nutzung von Wissensgraphen (KGs) untersucht haben, um die Sprachmodellierung durch gemeinsames Training und angepasste Modellarchitekturen zu verbessern, ist die Anwendung dieser Ansätze auf LLMs problematisch wegen ihrer großen Anzahl an Parametern und hohen Rechenkosten. Daher bleibt die Frage offen, wie vortrainierte LLMs mithilfe von fundiertem Wissen, z. B. retrieval-augmented generation, verbessert werden können. In dieser Arbeit schlagen wir Graph Neural Prompting (GNP) vor, eine neuartige Plug-and-Play-Methode, um vortrainierte LLMs darin zu unterstützen, nützliches Wissen aus KGs zu lernen. GNP umfasst verschiedene Komponenten, darunter einen standardmäßigen Graph Neural Network Encoder, ein cross-modality pooling Modul, einen Domänenprojektor und ein selbstüberwachtes Link-Prediction-Ziel. Umfassende Experimente auf mehreren Datensätzen zeigen die Überlegenheit von GNP bei Aufgaben des Alltagswissens und der biomedizinischen Argumentation über verschiedene LLM-Größen und -Einstellungen hinweg. Der Code ist verfügbar unter https://github.com/meettyj/GNP.