مامبا في الكلام: نحو بديل للانتباه الذاتي

حقق الـTransformer ومشتقاته نجاحًا في مهام متنوعة عبر رؤية الحاسوب، ومعالجة اللغة الطبيعية، ومعالجة الكلام. ولتقليل تعقيد العمليات الحسابية داخل آلية الانتباه الذاتي متعدد الرؤوس في Transformer، تم اقتراح نماذج الفضاء الحركي الانتقائية (أي مامبا) كبديل. أظهرت مامبا فعاليتها في مهام معالجة اللغة الطبيعية ورؤية الحاسوب، ولكن تم التحقيق نادرًا في تفوقها في معالجة إشارات الكلام. تستكشف هذه الورقة حلولًا لتطبيق مامبا على معالجة الكلام باستخدام مهمتين نموذجيتين لمعالجة الكلام: التعرف على الكلام، الذي يتطلب معلومات دلالية ومتسلسلة، وتحسين الكلام، الذي يركز بشكل أساسي على الأنماط التسلسلية. تُظهر النتائج تفوق مامبا ثنائية الاتجاه (BiMamba) في معالجة الكلام مقارنة بمامبا العادية. علاوة على ذلك، تُبيّن التجارب فعالية BiMamba كبديل لوحدة الانتباه الذاتي في Transformer ومشتقاته، لا سيما للمهمة التي تعتمد على الوعي الدلالي. ثم يتم تلخيص التقنيات الحاسمة لنقل مامبا إلى الكلام في دراسات الحذف وقسم المناقشة لتقديم رؤى للبحوث المستقبلية.