फाइन-ट्यूनिंग, प्रॉम्प्टिंग, इन-कॉन्टेक्स्ट लर्निंग और इंस्ट्रक्शन-ट्यूनिंग: हमें कितने लेबल वाले नमूनों की आवश्यकता है?

सीमित लेबल वाले डेटा के साथ किसी कार्य को हल करते समय, शोधकर्ता या तो बिना किसी अपडेट के सामान्य बड़े भाषा मॉडल का उपयोग कर सकते हैं, या कुछ उदाहरणों का उपयोग करके एक विशिष्ट छोटा मॉडल ट्यून कर सकते हैं। जब पर्याप्त लेबल उपलब्ध होते हैं, तो विशिष्ट मॉडल कई NLP कार्यों पर सामान्य मॉडलों से बेहतर प्रदर्शन करते हैं। इस कार्य में, हमारा उद्देश्य यह जांचना है कि इस श्रेष्ठ प्रदर्शन को प्राप्त करने के लिए विशिष्ट मॉडलों को कितने लेबल वाले नमूनों की आवश्यकता होती है, जबकि परिणामों के परिवर्तन को ध्यान में रखते हैं। प्रॉम्प्टिंग, इन-कॉन्टेक्स्ट लर्निंग, फाइन-ट्यूनिंग और इंस्ट्रक्शन-ट्यूनिंग के व्यवहार का अवलोकन करते हुए, विभिन्न जटिलता के तीन कार्यों में लेबल वाले प्रशिक्षण नमूनों की संख्या बढ़ाने पर उनकी ब्रेक-इवन पॉइंट्स की पहचान करते हुए, हम पाते हैं कि विशिष्ट मॉडलों को अक्सर समान या बेहतर होने के लिए केवल कुछ नमूनों (100-1000) की आवश्यकता होती है। साथ ही, आवश्यक लेबल वाले डेटा की मात्रा कार्य की जटिलता और परिणामों के परिवर्तन पर काफी निर्भर करती है।