अप्रत्यक्ष संदर्भ-आधारित शिक्षण

संदर्भ-आधारित शिक्षण (ICL) बड़े भाषा मॉडलों (LLMs) को परीक्षण क्वेरियों से पहले कुछ प्रदर्शन उदाहरणों को अग्रिम रखकर अंतर्दृष्टि के दौरान अदृश्य कार्यों के लिए अनुकूलित करने में सक्षम बनाता है। इसकी बहुमुखी प्रतिभा के बावजूद, ICL में शून्य-शॉट शिक्षण की तुलना में उल्लेखनीय संगणनात्मक और स्मृति ओवरहेड होते हैं और यह प्रदर्शन उदाहरणों के चयन और क्रम के प्रति संवेदनशील होता है। इस कार्य में, हम अप्रत्यक्ष संदर्भ-आधारित शिक्षण (I2CL) प्रस्तुत करते हैं, जो एक नवोन्मेषी दृष्टिकोण है जो पारंपरिक ICL से जुड़ी चुनौतियों का समाधान करता है, प्रदर्शन उदाहरणों को सक्रियण स्थान के भीतर अवशोषित करके। I2CL पहले प्रदर्शन उदाहरणों से एक संक्षिप्त वेक्टर प्रतिनिधित्व, जिसे संदर्भ वेक्टर कहा जाता है, उत्पन्न करता है। फिर यह संदर्भ वेक्टर को संघनित करते हुए एक रैखिक संयोजन के रूप में संदर्भ वेक्टर और क्वेरी सक्रियणों को मॉडल के अवशिष्ट प्रवाह में इंजेक्ट करता है। तीन मॉडल वास्तुकलाओं के नौ वास्तविक विश्व कार्यों पर अनुभवजन्य मूल्यांकन से पता चलता है कि I2CL शून्य-शॉट लागत के साथ फ्यू-शॉट प्रदर्शन प्राप्त करता है और प्रदर्शन उदाहरणों के परिवर्तन के प्रति लचीला रहता है। इसके अलावा, I2CL "कार्यक्षेत्र-आईडी" का एक नवीन प्रतिनिधित्व सक्षम करता है, जो कार्य समानता पहचान को बेहतर बनाता है और प्रभावी ट्रांसफर लर्निंग को सक्षम करता है। हम I2CL का व्यापक विश्लेषण प्रदान करते हैं, इसके तंत्रों और ICL के लिए व्यापक प्रभावों की गहरी समझ देते हैं। स्रोत कोड यहां उपलब्ध है: https://github.com/LzVv123456/I2CL.