توسيع نطاق تدريب نماذج اللغة الكبيرة مع منهجية المفردات

تعتمد نماذج اللغة الحديثة على مفردات ثابتة تُحدد قبل التدريب المسبق، على النقيض من اكتساب المفردات التكيفي الذي لوحظ في تعلم اللغة البشري. لسد هذه الفجوة، نقدم تعلم منهج المفردات، وهو نهج يُحسن كفاءة التدريب المسبق بتحسينات تتناسب لوغاريتميًا مع حجم المفردات. تتناوب طريقتنا بين توسيع المفردات الموجه بالانتروبيا وتحسين النموذج، مما يمكّن النماذج من تعلم تمثيلات قابلة للنقل عبر دقة تجزئة متنوّعة. يؤدي هذا النهج طبيعيًا إلى نمط تخصيص حسابي أمثل: تلتقط الرموز الأطول المحتوى المتوقع، في حين تركز الرموز الأقصر على سياقات أكثر تعقيدًا وصعوبة في التنبؤ. تظهر التجارب على نماذج GPT صغيرة الحجم تحسنًا في كفاءة التوسيع، مما يعزز فعالية التجزئة الديناميكية. نشارك رمزنا لدعم البحث المستقبلي ونخطط لتوسيع تجاربنا إلى نماذج أكبر ومجالات متنوعة.