MuBench: تقييم القدرات متعددة اللغات لنماذج اللغة الكبيرة عبر 61 لغة

تتقدم نماذج اللغة الكبيرة متعددة اللغات بسرعة، حيث تدعي النماذج الجديدة دعم عدد متزايد من اللغات. ومع ذلك، فإن مجموعات بيانات التقييم الحالية محدودة وتفتقر إلى المحاذاة عبر اللغات، مما يجعل تقييمات القدرات متعددة اللغات مجزأة من حيث التغطية اللغوية والمهارية. لمعالجة ذلك، نقدم MuBench، وهو معيار يغطي 61 لغة ويقيم مجموعة واسعة من القدرات. نقيّم عدة نماذج متعددة اللغات متقدمة ونجد فجوات ملحوظة بين التغطية اللغوية المزعومة والفعليّة، لا سيما فرق أداء مستمر بين الإنجليزية واللغات منخفضة الموارد. بالاستفادة من محاذاة MuBench، نقترح الاتساق متعدد اللغات (MLC) كمقياس تكميلي للدقة لتحليل عنق الزجاجة في الأداء وتوجيه تحسين النموذج. أخيراً، نقوم بتدريب مجموعة من النماذج التي تحتوي على 1.2 مليار معلمة على الإنجليزية والصينية مع 500 مليار رمز، مع تغيير نسب اللغات ونسب البيانات الموازية لدراسة ديناميكيات النقل عبر اللغات.