استكشاف نماذج الترانسفورمر لتصنيف المشاعر: مقارنة بين BERT وRoBERTa وALBERT وDistilBERT وXLNet

الملخص أثبتت نماذج التعلم بالنقل تفوقها على الأساليب التقليدية للتعلم الآلي في مهام تصنيف النصوص المختلفة، مثل تحليل المشاعر، والإجابة عن الأسئلة، وتصنيف الأخبار، والاستدلال اللغوي الطبيعي. مؤخراً، أظهرت هذه النماذج نتائج استثنائية في فهم اللغة الطبيعية (NLU). نماذج اللغة المتقدمة القائمة على الانتباه مثل BERT وXLNet تتفوق في التعامل مع المهام المعقدة عبر سياقات متنوعة. مع ذلك، تواجه صعوبات عند تطبيقها على مجالات محددة. منصات مثل فيسبوك، والتي تتميز بلغات عصرية ومتطورة تتغير باستمرار، تتطلب تحليلاً دقيقًا للسياق حتى من المستخدمين البشر. اقترحت الأدبيات العديد من الحلول باستخدام التقنيات الإحصائية وتقنيات التعلم الآلي للتنبؤ بالمشاعر (إيجابية أو سلبية) في مراجعات العملاء على الإنترنت، لكن معظمها يعتمد على ميزات متنوعة للأعمال والمراجعة والمراجع، مما يؤدي إلى مشاكل في التعميم. علاوة على ذلك، كانت هناك دراسات قليلة جدًا تحقق في فعالية نماذج اللغة المدربة مسبقًا المتقدمة في تصنيف المشاعر في المراجعات. لذلك، تهدف هذه الدراسة إلى تقييم فعالية BERT وRoBERTa وALBERT وDistilBERT وXLNet في تصنيف المشاعر باستخدام مجموعة بيانات مراجعات Yelp. تم ضبط النماذج بدقة، وكانت النتائج الحاصلة باستخدام نفس معلمات الضبط كما يلي: 98.30 لـ RoBERTa، 98.20 لـ XLNet، 97.40 لـ BERT، 97.20 لـ ALBERT، و96.00 لـ DistilBERT.