التناغم بين البيانات ونماذج اللغة الكبيرة متعددة الوسائط: استعراض من منظور التطوير المشترك

شهدنا التطور السريع لنماذج اللغة الكبيرة (LLMs) في السنوات الأخيرة. بناءً على نماذج اللغة الكبيرة القوية، تقوم نماذج اللغة الكبيرة متعددة الوسائط (MLLMs) بتمديد نوع الوسائط من النص إلى طيف أوسع من المجالات، مما جذب اهتمامًا واسعًا بسبب نطاق تطبيقاتها الأوسع. نظرًا لأن نماذج LLMs وMLLMs تعتمد على كميات هائلة من معلمات النماذج والبيانات لتحقيق القدرات الناشئة، فإن أهمية البيانات تحظى باهتمام واعتراف متزايدين. من خلال تتبع وتحليل الأعمال الأخيرة التي تركز على البيانات في مجال MLLMs، نجد أن تطوير النماذج والبيانات ليس مسارين منفصلين بل مترابطين. فمن ناحية، تسهم البيانات الأوسع والأعلى جودة في تحسين أداء MLLMs، ومن ناحية أخرى، يمكن لـ MLLMs تسهيل تطوير البيانات. يتطلب التطوير المشترك للبيانات متعددة الوسائط وMLLMs رؤية واضحة حول 1) في أي مرحلة من تطوير MLLMs يمكن استخدام نهج معين مركز على البيانات لتعزيز أية قدرات، و2) باستخدام أية قدرات وبأي أدوار يمكن للنماذج الإسهام في البيانات متعددة الوسائط. لتعزيز التطوير المشترك بين البيانات والنماذج لمجتمع MLLM، نقوم بمراجعة منهجية للأعمال القائمة المتعلقة بـ MLLMs من منظور التطوير المشترك بين البيانات والنماذج. مشروع يتم صيانته بانتظام مرتبط بهذا الاستعراض متاح على https://github.com/modelscope/data-juicer/blob/main/docs/awesomeₗlmdata.md.