التفاعلات المحلية والعالمية بين الفيديو والنص للربط الزمني

تتناول هذه الورقة مشكلة الربط الزمني من النص إلى الفيديو، والتي تهدف إلى تحديد الفاصل الزمني في الفيديو المرتبط دلالياً باستعلام نصي. نحن نتعامل مع هذه المشكلة باستخدام نموذج جديد يعتمد على الانحدار، يتعلم استخراج مجموعة من الميزات متوسطة المستوى لعبارات ذات معنى في استعلام النص، والتي تتوافق مع الكيانات الدلالية المهمة الموضحة في الاستعلام (مثل الممثلين، الأشياء، والأفعال)، ويعكس التفاعلات ذات الوضعين بين الميزات اللغوية للاستعلام والميزات البصرية للفيديو على مستويات متعددة. الطريقة المقترحة تتنبأ بفعالية بالفاصل الزمني المستهدف من خلال استغلال المعلومات السياقية من المحلي إلى العالمي أثناء التفاعلات ذات الوضعين. من خلال الدراسات التحليلية المعمقة، وجدنا أن دمج السياق المحلي والعالمي في تفاعلات الفيديو والنص أمر حاسم للربط الدقيق. تُظهر تجاربنا أن الطريقة المقترحة تتفوق على أحدث الطرق في مجموعات بيانات Charades-STA وActivityNet Captions بفوارق كبيرة، 7.44% و4.61% نقطة في مقياس Recall@tIoU=0.5 على التوالي.