استكشاف حدود التعلم بالنقل باستخدام محول موحد من نص إلى نص

التعلم بالنقل، حيث يتم تدريب نموذج أولاً على مهمة غنية بالبيانات قبل أن يُعاد تدريبه على مهمة لاحقة، برز كأسلوب قوي في معالجة اللغة الطبيعية (NLP). أدت فعالية التعلم بالنقل إلى تنوع في الأساليب والمنهجيات والممارسات. في هذه الورقة، نستكشف مشهد تقنيات التعلم بالنقل للـ NLP من خلال تقديم إطار موحد يحول جميع مشاكل اللغة النصية إلى صيغة نص إلى نص. تقارن دراستنا المنهجية أهداف ما قبل التدريب والهياكل ومجموعات البيانات غير المصنفة وطرق النقل وعوامل أخرى عبر العشرات من مهام فهم اللغة. من خلال دمج الرؤى من استكشافنا مع الحجم ومجموعتنا الجديدة "Colossal Clean Crawled Corpus"، نحقق نتائج متقدمة في العديد من المعايير التي تشمل التلخيص، والإجابة على الأسئلة، وتصنيف النصوص، وأكثر. لتسهيل الأعمال المستقبلية على التعلم بالنقل للـ NLP، نصدر مجموعة بياناتنا والنماذج المدربة مسبقاً والكود الخاص بنا.