استكشاف حدود التعلم بالنقل باستخدام محول موحد من نص إلى نص

التعلم بالنقل، حيث يتم في البداية تدريب النموذج مسبقًا على مهمة غنية بالبيانات ثم يتم تعديلها لتحسين أدائها على مهمة تالية، أصبح قوة فعالة في معالجة اللغة الطبيعية (NLP). لقد أدى فعالية التعلم بالنقل إلى ظهور تنوع في الأساليب والمنهجيات. في هذه الورقة، نستكشف مشهد التعلم بالنقل لمعالجة اللغة الطبيعية من خلال تقديم إطار موحد يحول جميع مشاكل اللغة القائمة إلى صيغة نص إلى نص. تدرس دراستنا المنهجية أهداف التدريب المسبق، والهياكل المعمارية، ومجموعات البيانات غير المعنونة، والتعلم بالنقل، وعوامل أخرى على العشرات من مهام فهم اللغة. من خلال الاستفادة من رؤانا في استكشافنا مع التوسع ومجموعة البيانات الجديدة "Corpus Colossal Crawled"، نحقق نتائج متقدمة في العديد من المعايير مثل التلخيص، والإجابة على الأسئلة، وتصنيف النصوص، والمزيد. لمزيد من العمل المستقبلي على التعلم بالنقل في معالجة اللغة الطبيعية، نقدم مجموعتنا بياناتنا، والنماذج المدربة، والكود.