تحسين كتابة أوصاف الصور للأثار الصينية باستخدام نماذج اللغة الانتشارية

تُعد كتابة أوصاف دقيقة ومفصلة للصور أمرًا حيويًا لتوثيق ونشر المعرفة حول الآثار الثقافية الصينية، إلا أن هذه المهمة تعاني من قيود شديدة بسبب طبيعتها المرتبطة بالمجال ونقص البيانات المقترنة بين الصور والأوصاف. بالرغم من ندرة بيانات الصور والنصوص المقترنة، توجد كميات كبيرة من النصوص المتخصصة حول هذه الآثار. نقترح إطار عمل مبتكر لوصف صور الآثار الثقافية الصينية يستغل بفعالية هذه النصوص التخصصية باستخدام نماذج اللغة الانتشارية (DLMs). تتضمن منهجيتنا تدريب نموذج DLM مسبقًا على مجموعة كبيرة من النصوص التخصصية لترسيخ المعرفة اللغوية المرتبطة بالمجال، تليها عملية تعديل دقيق للنموذج المدرب على البيانات المحدودة المرتبطة بين الصور والأوصاف، مع الاعتماد على الميزات البصرية. تُظهر التجارب أن هذه الاستراتيجية تعزز أداء كتابة الأوصاف بشكل ملحوظ مقارنة بالطرق التي لا تستخدم النصوص التخصصية أو تستخدمها بشكل أقل فاعلية. يبرز هذا العمل قدرة نماذج اللغة الانتشارية في الاستفادة من النصوص المتاحة بسهولة للتغلب على ندرة البيانات في مهام توليد اللغة المرتبطة بالرؤية المعقدة، مما يوفر أداة قيمة لتوثيق التراث الثقافي وتطبيقات معالجة اللغة الطبيعية الأوسع.