ما هي الميزات اللغوية واللغات المهمة في ترجمة نماذج اللغة الكبيرة؟

تُظهر نماذج اللغة الكبيرة (LLMs) قدرة قوية عبر مهام متعددة، بما في ذلك الترجمة الآلية. تركز دراستنا على تقييم قدرات الترجمة الآلية لنموذج Llama2 واستكشاف كيف تعتمد الترجمة على اللغات في بيانات تدريبه. تُظهر تجاربنا أن نموذج Llama2 بحجم 7B يحقق درجة BLEU تزيد عن 10 لكل اللغات التي تدرب عليها، لكنه لا يحقق ذلك دائمًا للغات التي لم يرها. تُلاحظ معظم المكاسب للغات غير المرئية بشكل أكبر مع زيادة حجم النموذج مقارنة باستخدام نسخ الدردشة أو زيادة عدد الأمثلة. علاوة على ذلك، تكشف تحليلاتنا للمسافة اللغوية أن التشابه النحوي ليس دائمًا العامل اللغوي الأساسي في تحديد جودة الترجمة. ومن المثير للاهتمام، اكتشفنا أنه في ظروف محددة، تُظهر بعض اللغات، على الرغم من امتلاكها لبيانات تدريب أقل بكثير من الإنجليزية، ارتباطات قوية مشابهة لتلك المتعلقة بالإنجليزية. تمنح اكتشافاتنا هنا رؤى جديدة للمشهد الحالي لنماذج اللغة الكبيرة، مما يثير احتمال أن النماذج التي تتمحور حول لغات أخرى غير الإنجليزية قد توفر أساسًا أكثر فعالية لنموذج متعدد اللغات.