लोकलाइज़्ड LoRA: कुशल फाइन-ट्यूनिंग के लिए एक संरचित निम्न-रैंक अनुकरण

पैरामीटर-कुशल फाइन-ट्यूनिंग (PEFT) विधियाँ, जैसे कि LoRA, पूर्व-प्रशिक्षित वज़न पर निम्न-रैंक अपडेट्स लेकर पूरी मॉडल फाइन-ट्यूनिंग के लिए संक्षिप्त और प्रभावी विकल्प प्रस्तुत करती हैं। हालांकि, अधिकांश मौजूदा दृष्टिकोण वैश्विक निम्न-रैंक संरचनाओं पर निर्भर करते हैं, जो पैरामीटर स्थान में फैलित स्थानिक पैटर्न को नजरअंदाज कर सकते हैं। इस काम में, हम Localized LoRA प्रस्तावित करते हैं, जो वज़न अपडेट्स को वज़न मैट्रिक्स के संरचित ब्लॉक्स पर लागू निम्न-रैंक मैट्रिसेस के संयोजन के रूप में मॉडल करता है। यह रूपरेखा पूरी पैरामीटर स्पेस में घनी, स्थानीयकृत अपडेट्स को संभव बनाती है बिना कुल प्रशिक्षनीय पैरामीटर्स की संख्या बढ़ाए। हम वैश्विक, रैखिक-स्थानीय और पूर्णतः स्थानीयकृत निम्न-रैंक अनुकरणों के बीच औपचारिक तुलना प्रदान करते हैं, और दिखाते हैं कि हमारा तरीका मेल खाते पैरामीटर बजट के तहत लगातार कम अनुकरण त्रुटि प्राप्त करता है। कृत्रिम और व्यावहारिक दोनों स्थितियों पर किए गए प्रयोग दिखाते हैं कि Localized LoRA मौजूदा विधियों की तुलना में अधिक अभिव्यंजक और अनुकूलनीय विकल्प देता है, जो बेहतर प्रदर्शन के साथ कुशल फाइन-ट्यूनिंग को सक्षम बनाता है।