Uma Alternativa Escalável e Eficaz aos Transformadores de Grafos

As Redes Neurais de Grafos (GNNs) têm demonstrado desempenho impressionante na aprendizagem de representações de grafos, mas enfrentam desafios para capturar dependências de longo alcance devido ao seu poder expressivo limitado. Para resolver isso, foram introduzidos os Transformadores de Grafos (GTs), que utilizam o mecanismo de autoatenção para modelar eficazmente relacionamentos pareados entre nós. Apesar de suas vantagens, os GTs sofrem de complexidade quadrática em relação ao número de nós no grafo, o que dificulta sua aplicabilidade em grafos grandes. Neste trabalho, apresentamos o Operador Contextual Aprimorado de Grafos (GECO), uma alternativa escalável e eficaz aos GTs que aproveita a propagação em vizinhança e convoluções globais para capturar efetivamente dependências locais e globais em tempo quase linear. Nosso estudo em conjuntos de dados sintéticos revela que o GECO alcança uma aceleração de 169x em um grafo com 2 milhões de nós em relação à atenção otimizada. Avaliações adicionais em uma ampla gama de benchmarks mostram que o GECO escala para grafos grandes onde os GTs tradicionais frequentemente enfrentam limitações de memória e tempo. Notavelmente, o GECO consistentemente alcança qualidade comparável ou superior em relação às linhas de base, melhorando o estado da arte em até 4,5% e oferecendo uma solução escalável e eficaz para a aprendizagem de grafos em larga escala.