Explorando o Potencial dos Grandes Modelos de Linguagem (LLMs) no Aprendizado em Grafos

O aprendizado em grafos tem atraído imensa atenção devido às suas amplas aplicações no mundo real. O pipeline mais popular para aprendizado em grafos com atributos textuais nos nós baseia-se principalmente em Redes Neurais de Grafos (GNNs) e utiliza embeddings textuais rasos como representações iniciais dos nós, o que apresenta limitações em conhecimento geral e compreensão semântica profunda. Nos últimos anos, os Grandes Modelos de Linguagem (LLMs) demonstraram possuir amplo conhecimento comum e habilidades poderosas de compreensão semântica que revolucionaram fluxos de trabalho existentes para lidar com dados textuais. Neste artigo, objetivamos explorar o potencial dos LLMs em aprendizado de máquina em grafos, especialmente na tarefa de classificação de nós, investigando dois possíveis pipelines: LLMs-como-Intensificadores e LLMs-como-Preditivos. O primeiro aproveita os LLMs para aprimorar os atributos textuais dos nós com seu vasto conhecimento e depois gera previsões através de GNNs. O segundo tenta empregar diretamente os LLMs como preditores autônomos. Realizamos estudos abrangentes e sistemáticos nesses dois pipelines sob várias configurações. A partir de resultados empíricos abrangentes, fazemos observações originais e encontramos novos insights que abrem novas possibilidades e sugerem direções promissoras para aproveitar os LLMs no aprendizado em grafos. Nossos códigos e conjuntos de dados estão disponíveis em https://github.com/CurryTang/Graph-LLM.