बड़े पैमाने पर पूर्व-प्रशिक्षित भाषा मॉडलों का पैरामीटर-कुशल फाइन-ट्यूनिंग

सारांश पूर्व-प्रशिक्षित भाषा मॉडलों (PLMs) और प्री-ट्रेनिंग–फाइन-ट्यूनिंग प्रतिमान के प्रचलन के साथ, यह लगातार दिखाया गया है कि बड़े मॉडल आमतौर पर बेहतर प्रदर्शन करते हैं। हालांकि, जैसे-जैसे PLMs का आकार बढ़ता है, सभी पैरामीटर्स को फाइन-ट्यून करना और संग्रहीत करना अत्यधिक महंगा हो जाता है और अंततः व्यवहार में असंभव हो जाता है। इससे एक नए अनुसंधान क्षेत्र की आवश्यकता होती है जो PLMs के पैरामीटर-कुशल अनुकूलन पर केंद्रित हो, जो मॉडल के एक छोटे हिस्से के पैरामीटर्स को अनुकूलित करता है जबकि बाकी को स्थिर रखता है, जिससे गणना और संग्रहण लागत में काफी कटौती होती है। सामान्य रूप से, यह दर्शाता है कि बड़े पैमाने के मॉडल कुछ पैरामीटर्स के अनुकूलन द्वारा प्रभावी रूप से संचालित किए जा सकते हैं। विभिन्न डिज़ाइनों के बावजूद, यहाँ हम 'डेल्टा-ट्यूनिंग' नामक अधिक सुसंगत और सुलभ शब्द के तहत इन विधियों पर चर्चा और विश्लेषण करते हैं, जहाँ 'डेल्टा' एक गणितीय संकेतन है जो बदलावों को दर्शाता है, और इसे प्रशिक्षण के दौरान 'बदले गए' पैरामीटर्स के हिस्से के लिए लिया गया है। हम समस्या का औपचारिक वर्णन करते हैं और मौजूदा डेल्टा-ट्यूनिंग विधियों के लिए एक एकीकृत वर्गीकरण मानदंड प्रस्तावित करते हैं ताकि इनके संबंधों और भेदों का अन्वेषण किया जा सके। साथ ही, हम डेल्टा-ट्यूनिंग की प्रभावशीलता के तहत सैद्धांतिक सिद्धांतों पर चर्चा करते हैं और उन्हें अनुकूलन और सर्वोत्तम नियंत्रण के दृष्टिकोण से व्याख्यायित करते हैं। इसके अतिरिक्त, हम 100 से अधिक प्राकृतिक भाषा संसाधन कार्यों पर समग्र अनुभवजन्य अध्ययन प्रदान करते हैं और डेल्टा-ट्यूनिंग के विभिन्न पहलुओं की जांच करते हैं। समग्र अध्ययन और विश्लेषण के साथ, हमारा अनुसंधान PLMs के अनुकूलन में डेल्टा-ट्यूनिंग के सैद्धांतिक और व्यावहारिक गुणों को प्रदर्शित करता है।