خارج الغرفة: تعميم تقسيم الحركة الديناميكية المعتمد على الأحداث للمشاهد المعقدة

التعرف السريع والموثوق لأجزاء المشهد الديناميكي، المعروف أيضًا باسم تقسيم الحركة، هو تحدٍ رئيسي لأجهزة الاستشعار المحمولة. تعتمد الطرق المعاصرة القائمة على كاميرات RGB على نمذجة خصائص الكاميرا والمشهد، إلا أنها غالبًا ما تكون محدودة وغير كافية في الفئات غير المعروفة. تمتلك كاميرات الأحداث القدرة على تجاوز هذه القيود، لكن الطرق المقابلة لم تُظهر إلا في بيئات داخلية صغيرة النطاق مع أجسام ديناميكية مبسطة. تقدم هذه الدراسة طريقة معتمدة على الأحداث لتقسيم الحركة غير المعتمد على الفئة يمكن نشرها بنجاح أيضًا عبر بيئات خارجية كبيرة ومعقدة. لهذا الغرض، نقدم خط أنابيب جديد يعتمد على التقسيم والتغلب يجمع بين: (أ) أحداث معوضة عن الحركة الذاتية، محوسبة عبر وحدة فهم المشهد التي تتنبأ بالعمق الأحادي الكاميرا ووضع الكاميرا كمهمات مساعدة، و(ب) التدفق البصري من وحدة تدفق بصري مخصصة. تُغذى هذه التمثيلات الوسيطة بعد ذلك إلى وحدة تقسيم تتنبأ بأقنعة تقسيم الحركة. يبني وحدة انتباه مؤقتة جديدة تعتمد على المحولات في وحدة التقسيم الارتباطات عبر 'الإطارات' المجاورة للحصول على أقنعة تقسيم متسقة زمنياً. تُحقق طريقتنا الحالة الفنية الجديدة على معيار EV-IMO الكلاسيكي (داخليًا) حيث نحقق تحسينات بمقدار 2.19 في مؤشر تقاطع الوحدة للأجسام المتحركة (2.22 mIoU) و4.52 في مؤشر النقاط، وكذلك على معيار جديد لتقسيم الحركة وتتبعها (خارجيًا) قائم على مجموعة بيانات الأحداث DSEC، المسمى DSEC-MOTS، حيث نُظهر تحسنًا بمقدار 12.91 في مؤشر تقاطع الوحدة للأجسام المتحركة.