Graph Triple Attention Netzwerk: Eine entkoppelte Perspektive

Graph Transformers (GTs) haben kürzlich im Graphbereich bedeutende Erfolge erzielt, indem sie sowohl Langstreckenabhängigkeiten als auch graphinduktive Bias effektiv erfassen. Allerdings stehen diese Methoden vor zwei Hauptproblemen: (1) Multi-View-Chaos, das aus der Kopplung von Multi-View-Informationen (positional, structural, attribute) resultiert und dadurch die flexible Nutzung sowie die Interpretierbarkeit des Propagationsprozesses behindert. (2) Lokal-globaler Chaos, der aus der Kopplung des lokalen Message Passing mit globaler Aufmerksamkeit entsteht und zu Problemen wie Overfitting und Überglobalisierung führt. Um diese Herausforderungen zu bewältigen, schlagen wir eine hochrangige entkoppelte Perspektive der GTs vor, in der sie in drei Komponenten und zwei Interaktionsebenen zerlegt werden: positionale Aufmerksamkeit, strukturelle Aufmerksamkeit und attributive Aufmerksamkeit sowie lokale und globale Interaktion. Basierend auf dieser entkoppelten Perspektive entwickeln wir ein entkoppeltes graph triplet attention Netzwerk namens DeGTA, das Multi-View-Attentionen separat berechnet und Multi-View-lokale und globale Informationen adaptiv integriert. Dieser Ansatz bietet drei wesentliche Vorteile: verbesserte Interpretierbarkeit, flexibles Design und adaptive Integration lokaler und globaler Informationen. Durch umfangreiche Experimente erreicht DeGTA bei verschiedenen Datensätzen und Aufgaben, darunter Knotenklassifikation und Graphklassifikation, den Stand der Technik. Umfassende Ablationsstudien zeigen, dass die Entkopplung essenziell ist, um Leistung und Interpretierbarkeit zu verbessern. Unser Code ist verfügbar unter: https://github.com/wangxiaotang0906/DeGTA