التعلم الحقيقي بالقليل من البيانات مع نماذج اللغة

تُظهر نماذج اللغة المدربة مسبقًا أداءً جيدًا في العديد من المهام حتى عند التعلم من أمثلة قليلة، ولكن الأعمال السابقة تستخدم العديد من الأمثلة المحتجزة لضبط جوانب مختلفة من التعلم، مثل المعاملات الفائقة، وأهداف التدريب، وقوالب اللغة الطبيعية ("النصوص التوجيهية"). هنا، نقيم قدرة النماذج على التعلم بالقليل من الأمثلة عندما تكون هذه الأمثلة المحتجزة غير متوفرة، وهو الإعداد الذي نسميه التعلم الحقيقي بالقليل من الأمثلة. نختبر معيارين لاختيار النموذج، وهما التحقق المتقاطع والحد الأدنى لطول الوصف، لاختيار النصوص التوجيهية والمعاملات الفائقة لنماذج اللغة في إعداد التعلم الحقيقي بالقليل. في المتوسط، يتفوق كلاهما بشكل طفيف على الاختيار العشوائي ويتأخران بشكل كبير عن الاختيار المبني على الأمثلة المحتجزة. علاوة على ذلك، غالبًا ما تفضل معايير الاختيار نماذج تؤدي أداءً أسوأ بكثير من النماذج المختارة عشوائيًا. نجد نتائج مماثلة حتى عند الأخذ في الاعتبار عدم التيقن لدينا في الأداء الحقيقي للنموذج أثناء الاختيار، وكذلك عند تغيير مقدار الحساب وعدد الأمثلة المستخدمة في الاختيار. بشكل عام، تشير نتائجنا إلى أن الأعمال السابقة قد بالغت بشكل كبير في تقدير القدرة الحقيقية لنماذج اللغة على التعلم بالقليل من الأمثلة نظرًا لصعوبة اختيار النماذج في هذه الحالة.