MAMBA4D: فهم فعال لفيديو السحب النقطية الطويلة بتسلسلات طويلة باستخدام نماذج فضاء الحالة الزمانية المكانية المفككة

تلتقط فيديوهات السحب النقطية بشكل فعال الهندسيات المكانية والزمانية الواقعية، وهي ضرورية لتمكين الوكلاء الأذكياء من فهم العالم ثلاثي الأبعاد المتغير ديناميكيًا الذي نعيش فيه. على الرغم من التقدم الكبير في معالجة السحب النقطية الثلاثية الأبعاد الثابتة، لا يزال تصميم هيكل فعال لفيديو السحب النقطية الرباعية الأبعاد تحديًا، ويرجع ذلك أساسًا إلى التوزيع غير المنتظم وغير المرتب للنقاط وعدم الاتساق الزمني بين الإطارات. علاوة على ذلك، تعتمد الهياكل الرباعية الأبعاد المتقدمة حديثًا بشكل أساسي على بنى تعتمد على المحولات، والتي تعاني عادة من تكلفة حسابية كبيرة بسبب تعقيدها التربيعي، خصوصًا عند معالجة تسلسلات فيديو طويلة. لمعالجة هذه التحديات، نقترح هيكل جديد لفهم فيديو السحب النقطية الرباعية الأبعاد يستند إلى نماذج فضاء الحالة (SSMs) المتقدمة مؤخرًا. بشكل محدد، يبدأ هيكلنا بفصل الفضاء والزمان في التسلسلات الرباعية الأبعاد الخام، ثم يؤسس الارتباطات الزمانية المكانية باستخدام وحدات Mamba المكانية داخل الإطار وMamba الزمنية بين الإطارات التي طورناها حديثًا. تم تصميم وحدة Mamba المكانية داخل الإطار لترميز الهياكل الهندسية المتشابهة أو المرتبطة محليًا ضمن خطوة بحث زمنية معينة، مما يمكنها من التقاط الديناميكيات قصيرة الأمد بفعالية. بعد ذلك، تُسلم هذه الرموز المرتبطة محليًا إلى وحدة Mamba الزمنية بين الإطارات التي تدمج ميزات النقاط عبر الفيديو بأكمله مع تعقيد خطي، مما يعزز التبعيات الحركية بعيدة المدى. تُظهر النتائج التجريبية على مهام التعرف على الحركة البشرية وتقسيم المعنى الرباعي الأبعاد تفوق طريقتنا المقترحة. خصوصًا في التسلسلات الطويلة، حققت طريقة Mamba التي نقترحها تقليلًا بنسبة 87.5% في ذاكرة GPU، وتسريعًا بمقدار 5.36 أضعاف، ودقة أعلى بكثير (حتى +10.4%) مقارنةً بالنظائر القائمة على المحولات على مجموعة بيانات MSR-Action3D.