अगर आप मेरी भाषा बोलें तो मैं बेहतर सीखता हूँ: शैली-अनुरूप प्रतिक्रिया समायोजन के साथ बड़े भाषा मॉडल फाइन-ट्यूनिंग में सुधार

विशिष्ट कार्यों के लिए छोटे डाटा सेट के साथ बड़े भाषा मॉडलों (LLMs) का फाइन-ट्यूनिंग एक व्यापक लेकिन जटिल चुनौती है। सीमित उदाहरणों की संख्या पर ओवरफिटिंग की संभावना मॉडल की सामान्यीकरण क्षमता और इसके मूल कौशल को बनाए रखने की क्षमता पर नकारात्मक प्रभाव डाल सकती है। हमारा शोध फाइन-ट्यूनिंग प्रक्रिया के दौरान ग्राउंड-ट्रूथ प्रतिक्रियाओं की शैली के प्रभाव का पता लगाता है। हमने पाया कि ग्राउंड-ट्रूथ प्रतिक्रिया शैली को LLM की अंतर्निहित शैली से मिलाना बेहतर सीखने के परिणाम देता है। इस अंतर्दृष्टि पर आधारित, हमने एक विधि विकसित की जो त्रुटियों को सुधारने के लिए LLM की पूर्व-मौजूद प्रतिक्रियाओं को न्यूनतम रूप से परिवर्तित करती है, इन समायोजित प्रतिक्रियाओं का उपयोग प्रशिक्षण लक्ष्यों के रूप में करती है। यह तकनीक मॉडल की मूल प्रतिक्रिया शैली के अनुरूप सटीक सुधार सक्षम करती है, मॉडल की मुख्य क्षमताओं की रक्षा करती है और इस प्रकार ओवरफिटिंग से बचती है। हमारे निष्कर्ष दिखाते हैं कि यह दृष्टिकोण न केवल LLM की कार्य-विशिष्ट सटीकता को सुधारता है बल्कि इसके मूल कौशल और प्रभावशीलता को भी महत्वपूर्ण रूप से बनाए रखता है।