लोरा एक्सपर्ट्स का मिश्रण

लोरा ने बड़े प्री-ट्रेंड मॉडलों के फाइन-ट्यूनिंग में व्यापक स्वीकृति प्राप्त की है ताकि विभिन्न डाउनस्ट्रीम कार्यों को पूरा किया जा सके, जिससे उत्कृष्ट प्रभावशीलता और दक्षता प्रदर्शित होती है, और इस प्रकार इसे सबसे प्रचलित फाइन-ट्यूनिंग तकनीकों में से एक के रूप में स्थापित किया गया है। लोरा के प्लग-एंड-प्ले मॉड्यूलर स्वभाव के कारण, शोधकर्ताओं ने कई लोरा के संयोजन की खोज की है ताकि मॉडल विभिन्न डाउनस्ट्रीम कार्यों में उत्कृष्ट प्रदर्शन कर सकें। इसके बावजूद, मौजूदा लोरा फ्यूजन विधियां अंतर्निहित चुनौतियों से जूझती हैं। प्रत्यक्ष अंकगणितीय संयोजन मूल प्री-ट्रेंड मॉडल की जनरेटिव क्षमताओं या लोरा की विशिष्ट पहचान को खो सकता है, जिससे अपर्याप्त परिणाम उत्पन्न होते हैं। वहीं, रेफरेंस ट्यूनिंग आधारित फ्यूजन कई लोरा के प्रभावी संयोजन के लिए आवश्यक लचीलापन प्रदान करने में सीमितताएं दिखाता है। इन चुनौतियों के जवाब में, इस पत्र में Mixture of LoRA Experts (MoLE) विधि पेश की गई है, जो पदानुक्रमित नियंत्रण और स्वतंत्र शाखा चयन का उपयोग करती है। MoLE विधि न केवल प्रत्यक्ष अंकगणितीय संयोजन की तुलना में बेहतर लोरा फ्यूजन प्रदर्शन प्राप्त करती है, बल्कि लोरा को प्रभावी ढंग से संयोजित करने के लिए आवश्यक लचीलापन भी बनाए रखती है। प्राकृतिक भाषा प्रोसेसिंग (NLP) और विज़न & लैंग्वेज (V&L) क्षेत्रों में व्यापक प्रयोगात्मक मूल्यांकन MoLE की कार्यक्षमता को पुष्ट करते हैं।