ماذا تتعلم نماذج اللغة في السياق؟ فرضية المهمة المنظمة

تُظهر نماذج اللغة الكبيرة (LLMs) قدرة مثيرة للاهتمام على تعلم مهمة جديدة من أمثلة داخل السياق معروضة في شرح توضيحي، ويطلق عليها التعلم داخل السياق (ICL). ومن المفهوم أن هناك العديد من الأبحاث التي تهدف إلى كشف النظريات التي تدعم التعلم داخل السياق. تشرح فرضية شائعة التعلم داخل السياق من خلال اختيار المهمة. حيث تحدد نماذج اللغة الكبيرة المهمة بناءً على الشرح التوضيحي وتعممها على المطالبة. وهناك فرضية شائعة أخرى تقول إن التعلم داخل السياق هو شكل من أشكال التعلم ما وراء التعلم، أي أن النماذج تتعلم خوارزمية التعلم في وقت التدريب المسبق وتطبقها على الشرح التوضيحي. وأخيرًا، هناك فرضية ثالثة تجادل بأن نماذج اللغة الكبيرة تستخدم الشرح التوضيحي لاختيار تركيبة من المهام المتعلمة خلال التدريب المسبق لأداء التعلم داخل السياق. في هذه الورقة، نستكشف تجريبيًا هذه الفرضيات الثلاث التي تفسر قدرة نماذج اللغة الكبيرة على التعلم داخل السياق من خلال سلسلة من التجارب المستمدة من مهام تصنيف النص الشائعة. نرفض الفرضيتين الأوليين بأمثلة مضادة ونقدم أدلة تدعم الفرضية الأخيرة. تشير نتائجنا إلى أن نماذج اللغة الكبيرة قد تتعلم مهمة جديدة داخل السياق عبر تركيب مهام متعلمة خلال التدريب المسبق.