تحسين التمثيلات القابلة للتفسير للبحث العشوائي في الفيديو باستخدام التسميات التوليدية وبنك المفاهيم متعدد الكلمات

محاذاة استعلام المستخدم ومقاطع الفيديو في الفضاء الكامن متعدد الوسائط ومع تلك المرتبطة بالمفاهيم الدلالية هما نهجان رئيسيان في البحث العشوائي في الفيديو (AVS). ومع ذلك، فإن فعالية الأساليب الحالية مقيدة بصغر حجم مجموعات البيانات المتاحة للنصوص والفيديو وجودة بنوك المفاهيم المنخفضة، مما يؤدي إلى فشل الاستعلامات غير المألوفة ومشكلة الكلمات خارج المفردات. تتناول هذه الورقة هذين المشكلتين من خلال بناء مجموعة بيانات جديدة وتطوير بنك مفاهيم متعدد الكلمات. على وجه التحديد، ومن خلال الاستفادة من نموذج توليدي، قمنا ببناء مجموعة بيانات جديدة تتألف من 7 ملايين زوج من النص والفيديو المولّد لتدريب مسبق. وللتعامل مع مشكلة الكلمات خارج المفردات، قمنا بتطوير بنك مفاهيم متعدد الكلمات يعتمد على التحليل النحوي لتعزيز قدرة طريقة AVS القابلة للتفسير والمتطورة في نمذجة العلاقات بين كلمات الاستعلام. كما درسنا تأثير الميزات المتقدمة الحالية على هذه الطريقة. أظهرت النتائج التجريبية أن دمج العناصر المقترحة أعلاه ضاعف أداء R@1 لطريقة AVS على مجموعة بيانات MSRVTT وحسّن قيمة xinfAP على مجموعات استعلامات TRECVid AVS للأعوام 2016-2023 (ثماني سنوات) بهامش يتراوح بين 2% إلى 77%، بمتوسط حوالي 20%. الشفرة والنموذج متاحان على https://github.com/nikkiwoo-gh/Improved-ITV.