تمديد السياق المعتمد على بايز البسيط لنماذج اللغة الكبيرة

أظهرت نماذج اللغة الكبيرة (LLMs) قدرات واعدة على التعلم ضمن السياق. ومع ذلك، غالبًا ما تعيق طرق التعلم ضمن السياق التقليدية (ICL) حدّ الطول في بنية المحول، مما يشكل تحديات عند محاولة دمج الإشراف من عدد كبير من أمثلة العرض بفعالية. في هذه الورقة، نقدم إطارًا جديدًا يسمى تمديد السياق المعتمد على بايز البسيط (NBCE)، لتمكين نماذج اللغة الكبيرة الحالية من أداء التعلم ضمن السياق مع زيادة عدد الأمثلة المعروضة من خلال توسيع حجم السياق بشكل كبير. والأهم من ذلك، أن هذا التوسع لا يتطلب تعديل النموذج أو الاعتماد على بنى نموذجية معينة، مع الحفاظ على الكفاءة الخطية. يقوم NBCE أولاً بتقسيم السياق إلى نوافذ متساوية الحجم تناسب الحد الأقصى لطول النموذج المستهدف. ثم يقدم آلية تصويت لاختيار النافذة الأكثر صلة، والتي تعتبر السياق اللاحق. وأخيرًا، يستخدم نظرية بايز لتوليد المهمة الاختبارية. تظهر نتائجنا التجريبية أن NBCE يعزز الأداء بدرجة كبيرة، خصوصًا مع زيادة عدد أمثلة العرض، متفوقًا باستمرار على الطرق البديلة. سيتم توفير كود NBCE للعامة. الكود متاح على: https://github.com/amurtadha/NBCE-master