विजन में मम्बा को समझें: एक रैखिक ध्यान दृष्टिकोण

मम्बा एक प्रभावी स्टेट स्पेस मॉडल है जिसके पास रैखिक गणना जटिलता है। इसने हाल ही में विभिन्न विजन कार्यों में उच्च-रिज़ोल्यूशन इनपुट्स के साथ प्रभावशाली दक्षता प्रदर्शित की है। इस पत्र में, हम प्रकट करते हैं कि शक्तिशाली मम्बा मॉडल में रैखिक ध्यान ट्रांसफॉर्मर के साथ आश्चर्यजनक समानताएँ हैं, जो आमतौर पर व्यावहारिक में पारंपरिक ट्रांसफॉर्मर से कम प्रभावी होता है। प्रभावी मम्बा और अनुपयुक्त रैखिक ध्यान ट्रांसफॉर्मर के बीच की समानताओं और भिन्नताओं का पता लगाकर, हम मम्बा की सफलता के पीछे मुख्य कारकों को समझाने के लिए व्यापक विश्लेषण प्रदान करते हैं। विशेष रूप से, हम चयनात्मक स्टेट स्पेस मॉडल और रैखिक ध्यान को एकीकृत सूत्रीकरण में पुन: निरूपित करते हैं, मम्बा को रैखिक ध्यान ट्रांसफॉर्मर के एक प्रकार के रूप में छह मुख्य भेदों के साथ पुनः परिभाषित करते हैं: इनपुट गेट, भुलाने का गेट, शॉर्टकट, कोई ध्यान सामान्यीकरण नहीं, सिंगल-हेड, और संशोधित ब्लॉक डिज़ाइन। प्रत्येक डिज़ाइन के लिए, हम इसके लाभ और हानियों का सावधानीपूर्वक विश्लेषण करते हैं, और विज़न कार्यों में मॉडल प्रदर्शन पर इसके प्रभाव का अनुभवजन्य मूल्यांकन करते हैं। रोचक रूप से, परिणाम भुलाने के गेट और ब्लॉक डिज़ाइन को मम्बा की सफलता के मुख्य योगदानकर्ताओं के रूप में हाइलाइट करते हैं, जबकि अन्य चार डिज़ाइनों का महत्व कम है। इन निष्कर्षों के आधार पर, हम एक मम्बा-लाइक रैखिक ध्यान (MLLA) मॉडल प्रस्तावित करते हैं जो इन दो प्रमुख डिज़ाइनों के गुणों को रैखिक ध्यान में सम्मिलित करता है। परिणामस्वरूप मॉडल छवि वर्गीकरण और उच्च-रिज़ोल्यूशन घनी भविष्यवाणी कार्यों दोनों में विभिन्न विजन मम्बा मॉडलों से बेहतर प्रदर्शन करता है, साथ ही समानांतर गणना और तीव्र अनुमान गति का आनंद लेता है। कोड https://github.com/LeapLabTHU/MLLA पर उपलब्ध है।