Spike-EVPR: شبكة عميقة متبقِّية تسمى Spike مع تجميع عبر التمثيلات للتعرف على الأماكن بصريًا باستخدام الأحداث

لقد تم تطبيق الكاميرات الحدثية بنجاح على مهام التعرف على الأماكن البصرية (VPR) باستخدام الشبكات العصبية الاصطناعية العميقة (ANNs) في السنوات الأخيرة. ومع ذلك، غالبًا ما تعجز معماريات الشبكات العصبية العميقة المقترحة سابقًا عن استغلال الكم الوفير من المعلومات الزمنية المقدمة في تدفقات الأحداث. وعلى النقيض من ذلك، تُظهر الشبكات العميقة النبضية ديناميكيات زمكانية أكثر تعقيدًا وهي بطبيعتها مناسبة لمعالجة تدفقات الأحداث غير المتزامنة والمتفرقة. لسوء الحظ، فإن إدخال أحجام الأحداث الزمنية الكثيفة مباشرة إلى الشبكة النبضية يؤدي إلى زيادة مفرطة في خطوات الزمن، مما ينتج عنه تكاليف تدريب باهظة للمهام VPR واسعة النطاق. وللتعامل مع هذه المشكلات المذكورة، نقترح معماريات شبكة نبضية عميقة جديدة تُسمى Spike-EVPR لمهام VPR المعتمدة على الأحداث. أولاً، نقدم تمثيلين جديدين للأحداث مصممين خصيصًا لشبكات SNN لاستغلال المعلومات الزمكانية من تدفقات الأحداث بالكامل، وتقليل استهلاك ذاكرة الفيديو خلال التدريب إلى الحد الأدنى الممكن. ثم، لاستغلال الإمكانات الكاملة لهذين التمثيلين، نبني مُرمّز نبضي متبقٍ ذو فرعين (BSR-Encoder) يتمتع بقدرات تمثيلية قوية لاستخلاص الميزات على المستوى العالي من التمثيلين. بعد ذلك، نقدم مُستخرج وصف مشترك ومحدد (SSD-Extractor) مصمم لاستخلاص الميزات المشتركة بين التمثيلين والميزات الخاصة بكل منهما. وأخيرًا، نقترح وحدة تجميع أوصاف متقاطعة (CDA-Module) تدمج الميزات الثلاث السابقة لتوليد واصف عام دقيق وقوي للمشهد. تشير نتائج تجاربنا إلى الأداء المتفوق لـ Spike-EVPR مقارنةً بعدة خطوط أنابيب موجودة لـ EVPR على مجموعات بيانات Brisbane-Event-VPR وDDD20، مع زيادة متوسط Recall@1 بنسبة 7.61% على Brisbane و13.20% على DDD20.