قوانين التدرج الفرعي: دور كثافة البيانات واستراتيجيات التدريب في نماذج اللغة الكبيرة

تشير القوانين التقليدية للتدرج في معالجة اللغة الطبيعية إلى أن زيادة حجم النموذج وبيانات التدريب تعزز الأداء. ومع ذلك، تكشف الدراسات الحديثة عن انحرافات، لا سيما في نماذج اللغة الكبيرة، حيث تتباطأ تحسنات الأداء، وهي ظاهرة تعرف بالتدرج الفرعي. تعيد هذه الورقة النظر في هذه القوانين من خلال فحص تأثير جودة البيانات واستراتيجيات التدريب على أداء النموذج. من خلال تحليل تجريبي واسع لأكثر من 400 نموذج، نحدد أن كثافة البيانات العالية وتخصيص الموارد غير الأمثل هما العاملان الرئيسيان اللذان يساهما في التدرج الفرعي. تؤدي كثافة البيانات العالية إلى عوائد متناقصة بسبب المعلومات المتكررة، في حين أن تخصيص الموارد الأمثل ضروري لتحقيق تحسينات مستمرة في الأداء. نقترح قانون تدرج فرعي غير مثالي يتنبأ بشكل أفضل بالأداء في أنظمة التدرج الفرعي، مبرزين أهمية جودة وتنوع البيانات.