مراجعة شاملة للأدبيات حول نماذج اللغة الكبيرة متعددة الوسائط لفهم متكامل للنص والصورة والكلام

تكنولوجيا الذكاء الاصطناعي تتطور بسرعة كبيرة وقد أنشأت بالتأكيد برامج حاسوبية ضخمة يمكنها فهم المعلومات المكتوبة المعقدة. المعلومات الواقعية تأتي في أشكال مختلفة مثل النصوص والصور والكلام، لكن الأنظمة التقليدية لا تستطيع دمج هذه الوسائط بفعالية. وفقًا لهذه الدراسة، نقوم بمراجعة جميع الأوراق البحثية المتعلقة بنماذج اللغة الكبيرة متعددة الوسائط التي تستطيع فهم النصوص والصور والكلام معًا. تستعرض هذه المراجعة تطور التعلم متعدد الوسائط من الطرق القديمة القائمة على القواعد والتعلم الآلي إلى الأساليب الحديثة القائمة على التعلم العميق. علاوة على ذلك، تنظر بشكل خاص إلى التحول نحو البنى المعمارية القائمة على المحولات في السنوات الأخيرة. تُظهر الدراسة أن الأنظمة المبكرة استخدمت ميزات مصنوعة يدويًا ولم تستطع التكيف أكثر، بينما أدت أساليب التعلم الآلي أداءً أفضل لكنها كانت محدودة بالاستخراج اليدوي للميزات. ساعدت طرق التعلم العميق مثل CNNs وRNNs الآلات على تعلم الميزات تلقائيًا، لكنها واجهت مشاكل في فهم الترابطات والتفاعلات الطويلة بين أنواع البيانات المختلفة. كانت هناك حاجة لبحث إضافي لحل هذه القيود. حلت نماذج المحولات هذه المشاكل باستخدام آليات الانتباه، مما أدى إلى ظهور نماذج اللغة الكبيرة متعددة الوسائط التي تجمع بين أنواع البيانات المختلفة في إطار عمل واحد. كما تدرس المراجعة الطرق المختلفة لدمج أنواع البيانات المتعددة، والمساحات المشتركة للتضمين، وأساليب الانتباه عبر الوسائط لتحسين الفهم والقدرات المنطقية. رغم التقدم الجيد، لا تزال تحديات مثل محاذاة البيانات، تعقيد الحوسبة، القابلية للتوسع، والحاجة إلى مجموعات بيانات متعددة الوسائط كبيرة تشكل مشاكل حرجة تتطلب مزيدًا من الاهتمام. هذه القضايا بحد ذاتها تخلق حواجز أمام تنفيذ أفضل. وفقًا لنتائج الدراسة، هناك فجوات بحثية مهمة تتعلق بالحاجة إلى تصميمات أنظمة أفضل، وطرق محسنة لدمج البيانات، وحلول عملية قادرة على العمل على نطاق أوسع. بشكل أساسي، تعطي هذه المراجعة صورة كاملة لكيفية تطور نماذج اللغة الكبيرة متعددة الوسائط، والتحديات التي تواجهها، والاتجاه الذي تسير فيه، مبينةً أنها يمكن أن تسد الفجوة بين طريقة تفكير البشر والذكاء الآلي.