استكشاف إمكانيات النماذج اللغوية الكبيرة (LLMs) في التعلم على الرسوم البيانية

لقد جذب التعلم على الرسوم البيانية اهتمامًا هائلًا بسبب تطبيقاته الواسعة في العالم الحقيقي. وتعتمد أكثر الطرق شيوعًا للتعلم على الرسوم البيانية التي تحتوي على سمات نصية للعقد بشكل أساسي على الشبكات العصبية للرسوم البيانية (GNNs)، وتستخدم تضمين نصي سطحي كتمثيلات أولية للعقد، وهو ما له قيود في المعرفة العامة والفهم الدلالي العميق. في السنوات الأخيرة، ثبت أن النماذج اللغوية الكبيرة (LLMs) تمتلك معرفة واسعة وشاملة وقدرات فهم دلالي قوية أحدثت ثورة في طرق التعامل مع بيانات النصوص. في هذه الورقة، نهدف إلى استكشاف إمكانيات النماذج اللغوية الكبيرة في تعلم الآلة على الرسوم البيانية، لا سيما في مهمة تصنيف العقد، ونحقق في مسارين محتملين: النماذج اللغوية الكبيرة كمُعزِّزين وكمُنبئين. الأول يستخدم النماذج اللغوية الكبيرة لتعزيز سمات النص الخاصة بالعقد بمعرفتهم الضخمة ثم توليد التنبؤات من خلال الشبكات العصبية للرسوم البيانية. والثاني يحاول استخدام النماذج اللغوية الكبيرة كمُنبئين مستقلين مباشرة. نجري دراسات شاملة ومنهجية على هذين المسارين في إعدادات متنوعة. ومن النتائج التجريبية الكاملة، نستخلص ملاحظات أصلية ونجد رؤى جديدة تفتح إمكانيات جديدة وتقترح اتجاهات واعدة لاستغلال النماذج اللغوية الكبيرة في التعلم على الرسوم البيانية. رموزنا ومجموعات البيانات متاحة على: https://github.com/CurryTang/Graph-LLM.