إعادة التفكير في دور العروض التوضيحية: ما الذي يجعل التعلم ضمن السياق فعالاً؟

نماذج اللغة الكبيرة (LMs) قادرة على التعلم ضمن السياق—أداء مهمة جديدة عبر الاستدلال فقط من خلال الاعتماد على عدد قليل من أزواج المدخلات والملصقات (العروض التوضيحية) وإجراء التنبؤات للمدخلات الجديدة. ومع ذلك، هناك فهم ضئيل لكيفية تعلم النموذج وأي الجوانب في العروض التوضيحية تساهم في أداء المهمة النهائية. في هذه الورقة، نُظهر أن العروض التوضيحية الحقيقية في الواقع غير ضرورية—استبدال الملصقات بشكل عشوائي في العروض التوضيحية بالكاد يؤثر على الأداء في مجموعة من مهام التصنيف والاختيار المتعدد، بشكل مستمر عبر 12 نموذجًا مختلفًا بما في ذلك GPT-3. بدلاً من ذلك، نجد أن جوانب أخرى في العروض التوضيحية هي المحركات الأساسية لأداء المهمة النهائية، بما في ذلك حقيقة أنها توفر أمثلة قليلة لـ (1) فضاء الملصقات، (2) توزيع نص المدخلات، و (3) التنسيق الكلي للتسلسل. معًا، توفر تحليلاتنا طريقة جديدة لفهم كيف ولماذا يعمل التعلم ضمن السياق، مع فتح أسئلة جديدة حول مدى ما يمكن تعلمه من نماذج اللغة الكبيرة من خلال الاستدلال فقط.