GTC: التعلم التبايني المشترك لـ GNN-Transformer لتمثيل الرسوم البيانية غير المتجانسة بطريقة التعلم الذاتي

ظهرت الشبكات العصبية البيانية (GNNs) كأقوى أداة لمهام الرسوم البيانية المختلفة بسبب قدرة آلية تمرير الرسائل الكبيرة على تجميع المعلومات المحلية. ومع ذلك، لطالما كان السَّلوك الزائد للأمل (over-smoothing) عقبة أمام تعمق الشبكات العصبية البيانية والتقاط الجيران متعدد القفزات. على عكس الشبكات العصبية البيانية، يمكن للمُحوِّلات نموذج المعلومات العالمية والتفاعلات متعددة القفزات عبر الانتباه الذاتي متعدد الرؤوس، وهيكلية المُحوِّل المناسبة يمكن أن تظهر مزيدًا من المقاومة لمشكلة السلوك الزائد. فهل يمكننا اقتراح إطار عمل جديد يجمع بين GNN وTransformer، يدمج بين تجميع المعلومات المحلي لـ GNN وقدرة نموذج المعلومات العالمي للمحوِّل للقضاء على مشكلة السلوك الزائد؟ لتحقيق ذلك، تقترح هذه الورقة مخطط تعلم تعاوني لـ GNN-Transformer وتبني بنية GTC. يستفيد GTC من فرعي GNN وTransformer لتشفير معلومات العقد من وجهات نظر مختلفة على التوالي، ويُنشئ مهام تعلم تبايني بناءً على المعلومات المشفرة عبر الرؤية لتحقيق تمثيل رسوم بيانية غير متجانسة بطريقة التعلم الذاتي. بالنسبة لفرع المُحوِّل، نقترح Metapath-aware Hop2Token وCG-Hetphormer، واللذين يمكنهما التعاون مع GNN لترميز معلومات الجوار بانتباه من مستويات مختلفة. حسب علمنا، هذه هي المحاولة الأولى في مجال تعلم تمثيل الرسوم البيانية التي تستخدم كلًا من GNN وTransformer لالتقاط معلومات وجهات نظر مختلفة بشكل تعاوني وإجراء تعلم تبايني عبر الرؤى. تظهر التجارب على مجموعات بيانات حقيقية أن GTC يعرض أداءً متفوقًا مقارنة بالطرق الحديثة المتقدمة. يمكن توفر الأكواد على https://github.com/PHD-lanyu/GTC.