EDVD: الدمج الزمني والمكاني عبر الوسائط باستخدام الأحداث والنشر لإزالة التشويش من الفيديو

استعادة الصور عالية الجودة من مقاطع الفيديو المشوشة مهمة صعبة للغاية، خاصة في المشاهد المشوشة بشدة. في السنوات الأخيرة، حققت الطرق القائمة على الأحداث تقدمًا كبيرًا في إزالة التشويش من الفيديو. ومع ذلك، تزيد الفروق بين الوسائط بين الحدث والصورة من صعوبة دمج الميزات. بالإضافة إلى ذلك، تجعل ندرة الأحداث من الصعب استعادة بعض التفاصيل المحلية. لمعالجة هذه القضايا، نقترح طريقة جديدة لإزالة التشويش من الفيديو. أولاً، صممنا آلية انتباه تعاونية عبر الوسائط لدمج الميزات بفعالية من الإطارات المشوشة وإطارات الأحداث، مما يسمح باستخراج عميق لمعلومات الحركة من إطارات الأحداث. ثانيًا، نستخدم نموذج نشر لإنتاج ميزة إرشادية مكانية، تعزز التفاصيل والأنسجة المحلية. علاوة على ذلك، نقترح وحدة دمج ميزات ديناميكية موجهة بالأحداث التي تدمج بشكل تكيفي المعلومات الزمكانية من الإطارات المجاورة. تُظهر النتائج التجريبية على مجموعات بيانات اصطناعية وحقيقية أن طريقتنا تتفوق على التقنيات الحديثة الحالية. الشفرة متاحة على: https://github.com/Frank-Zhou-01/EDVDmain.