Graph-Transformer: Eine Übersicht

Graph-Transformer sind eine neuartige Entwicklung im maschinellen Lernen und bieten eine neue Klasse von neuronalen Netzmodellen für graphstrukturierte Daten. Die Synergie zwischen Transformern und Graphlernen zeigt starke Leistung und Vielseitigkeit bei verschiedenen graphbezogenen Aufgaben. Diese Übersicht bietet eine eingehende Betrachtung der jüngsten Fortschritte und Herausforderungen in der Graph-Transformer-Forschung. Wir beginnen mit den grundlegenden Konzepten von Graphen und Transformern. Anschließend untersuchen wir Designperspektiven der Graph-Transformer, mit Fokus darauf, wie sie graphinduktive Biases und Graph-Attentivitätsmechanismen in die Transformer-Architektur integrieren. Darüber hinaus schlagen wir eine Taxonomie vor, die Graph-Transformer basierend auf Tiefe, Skalierbarkeit und Vortrainingsstrategien klassifiziert und wesentliche Prinzipien für die effektive Entwicklung von Graph-Transformer-Modellen zusammenfasst. Über die technische Analyse hinaus diskutieren wir die Anwendungen von Graph-Transformer-Modellen für Aufgaben auf Knoten-, Kanten- und Graph-Ebene und erforschen deren Potenzial in weiteren Anwendungsszenarien. Schließlich identifizieren wir verbleibende Herausforderungen im Feld, wie Skalierbarkeit und Effizienz, Generalisierung und Robustheit, Interpretierbarkeit und Erklärbarkeit, dynamische und komplexe Graphen sowie Datenqualität und Diversität, und zeichnen zukünftige Richtungen für die Graph-Transformer-Forschung auf.