تعلم اختيار العرض التوضيحي المفضل في السياق بواسطة نموذج اللغة الكبيرة

يُمكّن التعلم في السياق (ICL) نماذج اللغة الكبيرة (LLMs) من التكيف مع مهام جديدة أثناء الاستدلال باستخدام بضع عروض توضيحية فقط. ومع ذلك، يعتمد أداء ICL بشكل كبير على اختيار هذه العروض التوضيحية. تستكشف الأبحاث الحديثة طرق الاسترجاع لاختيار عروض توضيحية محددة للاستعلام، لكن هذه الأساليب غالبًا ما تعتمد على أهداف بديلة مثل التعلم بالقياس، مما يؤدي إلى عدم تحسين أداء ICL مباشرة. ونتيجة لذلك، تواجه صعوبة في تحديد العروض التوضيحية المفيدة حقًا. علاوة على ذلك، فإن نموذج الاسترجاع التمييزي الخاص بهم يكون غير فعال عندما يفتقر التجمع المرشّح إلى عروض توضيحية عالية الجودة بشكل كافٍ. لمعالجة هذه التحديات، نقترح GenICL، وهو إطار تعلم تفضيل توليدي جديد يستفيد من تغذية راجعة من LLM لتحسين اختيار العروض التوضيحية لـ ICL بشكل مباشر. أظهرت التجارب على 19 مجموعة بيانات عبر 11 فئة مهام أن GenICL يحقق أداءً متفوقًا على الأساليب الحالية في اختيار العروض التوضيحية الأكثر فعالية، مما يؤدي إلى تحسين أداء ICL.