Explorando el Potencial de los Grandes Modelos de Lenguaje (LLMs) en el Aprendizaje sobre Grafos

El aprendizaje sobre grafos ha atraído una atención inmensa debido a sus amplias aplicaciones en el mundo real. La tubería más popular para el aprendizaje sobre grafos con atributos textuales en los nodos se basa principalmente en Redes Neuronales de Grafos (GNNs), y utiliza incrustaciones textuales superficiales como representaciones iniciales de los nodos, lo que tiene limitaciones en conocimiento general y una comprensión semántica profunda. En los últimos años, se ha demostrado que los Grandes Modelos de Lenguaje (LLMs) poseen un amplio conocimiento común y poderosas capacidades de comprensión semántica que han revolucionado los flujos de trabajo existentes para manejar datos textuales. En este artículo, nuestro objetivo es explorar el potencial de los LLMs en el aprendizaje automático sobre grafos, especialmente en la tarea de clasificación de nodos, e investigar dos posibles pipelines: LLMs-como-Enhancers y LLMs-como-Predictors. El primero aprovecha los LLMs para mejorar los atributos textuales de los nodos con su vasto conocimiento y luego generar predicciones a través de GNNs. El segundo intenta emplear directamente los LLMs como predictores independientes. Realizamos estudios completos y sistemáticos sobre estos dos pipelines bajo diversas configuraciones. A partir de resultados empíricos exhaustivos, hacemos observaciones originales y encontramos nuevas perspectivas que abren nuevas posibilidades y sugieren direcciones prometedoras para aprovechar los LLMs en el aprendizaje sobre grafos. Nuestros códigos y conjuntos de datos están disponibles en https://github.com/CurryTang/Graph-LLM.