Eine skalierbare und effektive Alternative zu Graph-Transformern

Graph Neural Networks (GNNs) haben beeindruckende Leistungen im Bereich der Graphrepräsentationslernen gezeigt, stehen jedoch vor Herausforderungen, langfristige Abhängigkeiten aufgrund ihrer begrenzten Ausdruckskraft zu erfassen. Um dieses Problem zu lösen, wurden Graph Transformers (GTs) eingeführt, die den Self-Attention-Mechanismus nutzen, um paarweise Knotenbeziehungen effektiv zu modellieren. Trotz ihrer Vorteile leiden GTs unter quadratischer Komplexität in Bezug auf die Anzahl der Knoten im Graphen, was ihre Anwendbarkeit bei großen Graphen erschwert. In dieser Arbeit stellen wir den Graph-Enhanced Contextual Operator (GECO) vor, eine skalierbare und effektive Alternative zu GTs, der Nachbarschaftspropagation und globale Faltungen nutzt, um lokale und globale Abhängigkeiten in quasi-linearer Zeit effektiv zu erfassen. Unsere Studie an synthetischen Datensätzen zeigt, dass GECO eine 169-fache Beschleunigung bei einem Graphen mit 2 Millionen Knoten gegenüber optimierter Attention erreicht. Weitere Bewertungen auf einer Vielzahl von Benchmarks zeigen, dass GECO auf große Graphen skaliert, bei denen traditionelle GTs oft Speicher- und Zeitbeschränkungen haben. Bemerkenswerterweise erreicht GECO durchgängig vergleichbare oder überlegene Qualität im Vergleich zu Benchmarks, verbessert den SOTA um bis zu 4,5 % und bietet eine skalierbare und effektive Lösung für das großskalige Graphenlernen.