شرح الأعمال الفنية في نماذج اللغة البصرية واسعة النطاق

تنتج نماذج اللغة البصرية واسعة النطاق (LVLMs) نصوصًا من الصور والتعليمات، مما يُظهر قدرات متقدمة في توليد النص وفهمه. ومع ذلك، لم يتضح حتى الآن مدى فهم هذه النماذج للمعرفة اللازمة لشرح الصور، والعلاقات المعقدة بين مختلف أوجه المعرفة، وكيف تدمج هذه الفهمات في شروحاتها. لمواجهة هذه القضية، نقترح مهمة جديدة: مهمة توليد شرح الأعمال الفنية، إلى جانب مجموعة بيانات تقييم ومقياس لقياس الفهم واستخدام المعرفة المتعلقة بالأعمال الفنية بشكل كمي. هذه المهمة مناسبة لوصف الصور على أساس افتراض أن نماذج LVLMs من المتوقع أن تمتلك معرفة مسبقة بالأعمال الفنية، التي غالبًا ما تكون موضوعات معترف بها على نطاق واسع وتوثيقها متوفر. تتكون المهمة من جزأين: إنتاج شروحات من كل من الصور وعناوين الأعمال الفنية، وتوليد شروحات باستخدام الصور فقط، مما يقيم معرفة النماذج القائمة على اللغة والرؤية. إلى جانب ذلك، نُصدر مجموعة بيانات تدريبية لـ LVLMs لتعلم شروحات تدمج المعرفة حول الأعمال الفنية. تشير نتائجنا إلى أن نماذج LVLMs لا تواجه صعوبة فقط في دمج المعلومات اللغوية والبصرية، بل تظهر أيضًا قيدًا أكبر في اكتساب المعرفة من الصور بمفردها. مجموعات البيانات (ExpArt=Explain Artworks) متاحة على https://huggingface.co/datasets/naist-nlp/ExpArt.