E2VIDiff: إعادة بناء الفيديو من الأحداث الإدراكية باستخدام نماذج الانتشار السابقة

تلتقط كاميرات الأحداث، التي تحاكي شبكية العين البشرية، تغييرات السطوع بدقة زمنية ومجال ديناميكي لا مثيل لهما. يشكل دمج الأحداث في الشدة تحدياً شديد الصعوبة بسبب غموض الشروط الابتدائية. الطرق التقليدية المعتمدة على التعلم العميق الانحداري لا تصل إلى جودة إدراكية عالية، حيث تقدم إعادة بناء حتمية وغالباً غير واقعية. في هذا البحث، نقدم نماذج الانتشار لإعادة بناء الفيديو من الأحداث، محققين توليد فيديو ملون وواقعي وفائق في الإدراك من أحداث عديمة اللون. وبالاعتماد على قدرة توليد الصور والمعرفة لنماذج الانتشار المدربة مسبقاً، يمكن للطريقة المقترحة تحقيق توازن أفضل بين الإدراك والتشويه في الإطار المعاد بناءه مقارنة بالحلول السابقة. أظهرت تجارب واسعة على مجموعات بيانات معيارية أن طريقتنا قادرة على إنتاج إطارات متنوعة وواقعية تحافظ على المطابقة مع الأحداث المعطاة.