GraphGPT: Graph-Anweisungs-Tuning für große Sprachmodelle

Graph Neural Networks (GNNs) haben sich entwickelt, um Graphstrukturen durch rekursive Austauschprozesse und Aggregationen zwischen Knoten zu verstehen. Um die Robustheit zu verbessern, ist Self-Supervised Learning (SSL) zu einem wichtigen Werkzeug für die Datenanreicherung geworden. Traditionelle Methoden basieren oft auf Feinabstimmung mit aufgabenspezifischen Labels, was ihre Effektivität bei knappen gelabelten Daten einschränkt. Unsere Forschung geht dieses Problem an, indem sie die Generalisierung von Graphmodellen in Zero-Shot-Lernumgebungen vorantreibt. Inspiriert vom Erfolg großer Sprachmodelle (LLMs) streben wir die Schaffung eines graphorientierten LLMs an, das außergewöhnliche Generalisierung über verschiedene Datensätze und Aufgaben hinweg ermöglicht, ohne auf nachgelagerte Graphdaten angewiesen zu sein. Wir stellen das GraphGPT-Framework vor, das LLMs mit graph-strukturellem Wissen durch Graph-Anweisungs-Tuning integriert. Dieses Framework umfasst eine Text-Graph-Verankerungskomponente zur Verbindung von textuellen und graphischen Strukturen sowie einen zweistufigen Anweisungs-Tuning-Ansatz mit einem leichten Graph-Text-Ausrichtungsprojektor. Diese Innovationen ermöglichen es LLMs, komplexe Graphstrukturen zu erfassen und die Anpassungsfähigkeit über diverse Datensätze und Aufgaben zu verbessern. Unser Framework zeigt überlegene Generalisierung sowohl bei überwachten als auch bei Zero-Shot-Graph-Lernaufgaben und übertrifft bestehende Benchmarks. Die Open-Source-Implementierung unseres GraphGPT-Modells ist verfügbar unter https://github.com/HKUDS/GraphGPT.