SCGT: Rumo a um Transformador de Grafos Escalável e Abrangente

Transformadores de Grafos (GTs) têm mostrado grande potencial na aprendizagem de representação de grafos nos últimos anos. Apesar de seu desempenho promissor em grafos pequenos, como desenvolver uma arquitetura escalável e poderosa ainda permanece a ser explorado. Enquanto alguns trabalhos existentes se dedicam ao desenho de mecanismos de atenção linear, a expressividade é limitada pelas suas distribuições suaves de pontuação de atenção. Outro fator que impacta a expressividade é o viés indutivo. Infelizmente, GTs geralmente carecem de um forte viés indutivo específico para grafos, o que leva à falha em capturar estruturas hierárquicas de longo alcance ou estruturas de comunidade. Para abordar essas questões, desenvolvemos um Transformador de Grafos Escalável e Abrangente (SCGT). Especificamente, aproveitamos uma Atenção Linear de Grafo Focada (FGLA) para gerar uma distribuição precisa das pontuações de atenção. Além disso, projetamos uma Codificação Posicional Abrangente (CPE) para capturar uma consciência completa das características originais ao nível do nó. Resultados empíricos extensivos mostram que o SCGT alcança desempenho altamente competitivo com eficiência adequada em 12 conjuntos de dados. Análise teórica demonstra a expressividade do nosso método proposto.