शर्तीय मिश्रण के साथ मल्टीमॉडल इंस्ट्रक्शन ट्यूनिंग ऑफ़ LoRA

मल्टीमॉडल बड़ा भाषा मॉडल (MLLMs) ने विभिन्न डोमेन में विभिन्न कार्यों में असाधारण दक्षता प्रदर्शित की है, जिसमें अनदेखे मल्टीमॉडल कार्यों के लिए उनकी ज़ीरो-शॉट जनरलाइज़ेशन क्षमताओं को सुधारने पर बढ़ता फोकस है। मल्टीमॉडल इंस्ट्रक्शन ट्यूनिंग एक सफल रणनीति के रूप में उभरी है जो पूर्व-प्रशिक्षित मॉडलों को निर्देशों के माध्यम से विविध मल्टीमॉडल कार्यों पर फाइन-ट्यून करके ज़ीरो-शॉट जनरलाइज़ेशन प्राप्त करती है। जैसे-जैसे MLLMs जटिलता और आकार में वृद्धि कर रहे हैं, LoRA (Low-Rank Adaption) जैसे पैरामीटर-कुशल फाइन-ट्यूनिंग तरीकों की आवश्यकता महत्वपूर्ण हो जाती है, जो न्यूनतम पैरामीटर सेट के साथ फाइन-ट्यून करता है। हालांकि, मल्टीमॉडल इंस्ट्रक्शन ट्यूनिंग में LoRA लागू करना कार्य हस्तक्षेप की चुनौती प्रस्तुत करता है, जो प्रदर्शन में गिरावट का कारण बनता है, विशेष रूप से विभिन्न प्रकार के मल्टीमॉडल कार्यों से निपटते समय। इसे संबोधित करने के लिए, इस पेपर में एक नया दृष्टिकोण प्रस्तुत किया गया है जो मल्टीमॉडल इंस्ट्रक्शन ट्यूनिंग को Conditional Mixture-of-LoRA (MixLoRA) के साथ एकीकृत करता है। यह LoRA पर नवाचार करता है द्वारा गतिशील रूप से निम्न-रैंक अनुकूलन मैट्रिसेस को प्रत्येक इनपुट उदाहरण की विशिष्ट आवश्यकताओं के अनुसार बनाकर, कार्य हस्तक्षेप को कम करने के लक्ष्य से। विभिन्न मल्टीमॉडल मूल्यांकन डेटासेट पर प्रायोगिक परिणाम दर्शाते हैं कि MixLoRA पारंपरिक LoRA से बेहतर प्रदर्शन करता है, समान या उच्च रैंक के साथ भी, जो इसकी दक्षता और विविध मल्टीमॉडल कार्यों में अनुकूलता को दर्शाता है।