भाषा मॉडल संदर्भ में क्या सीखते हैं? संरचित कार्य परिकल्पना

बड़े भाषा मॉडल (LLMs) संदर्भ में प्रस्तुत उदाहरणों से एक नए कार्य को सीखने की एक रोचक क्षमता प्रदर्शित करते हैं, जिसे इन-कॉन्टेक्स्ट लर्निंग (ICL) कहा जाता है। स्वाभाविक रूप से, ICL के पीछे के सिद्धांतों को उजागर करने के लिए कई शोध समर्पित हैं। एक लोकप्रिय परिकल्पना कार्य चयन द्वारा ICL की व्याख्या करती है। LLMs डिमॉन्स्ट्रेशन के आधार पर कार्य की पहचान करते हैं और उसे प्रॉम्प्ट पर सामान्यीकृत करते हैं। दूसरी लोकप्रिय परिकल्पना यह है कि ICL मेटा-लर्निंग का एक रूप है, अर्थात्, मॉडल प्री-ट्रेनिंग समय पर एक लर्निंग एल्गोरिदम सीखते हैं और उसे डिमॉन्स्ट्रेशन पर लागू करते हैं। अंत में, तीसरी परिकल्पना यह तर्क देती है कि LLMs डिमॉन्स्ट्रेशन का उपयोग प्री-ट्रेनिंग के दौरान सीखे गए कार्यों के संयोजन को चुनने के लिए करते हैं ताकि ICL किया जा सके। इस पत्र में, हम आम पाठ वर्गीकरण कार्यों से निकाले गए प्रयोगों की एक श्रंखला के साथ इन तीन परिकल्पनाओं का अनुभवजन्य रूप से अन्वेषण करते हैं जो LLMs की संदर्भ में सीखने की क्षमता को समझाती हैं। हम पहले दो परिकल्पनाओं को प्रतिवादों के साथ अमान्य करते हैं और अंतिम परिकल्पना के समर्थन में प्रमाण प्रदान करते हैं। हमारे परिणाम सुझाव देते हैं कि एक LLM प्री-ट्रेनिंग के दौरान सीखे गए कार्यों के संयोजन के माध्यम से संदर्भ में एक नया कार्य सीख सकता है।