LMStyle बेंचमार्क: चैटबॉट्स के लिए टेक्स्ट स्टाइल ट्रांसफर का मूल्यांकन

ChatGPT के प्रादुर्भाव के बाद से, बड़े भाषा मॉडल (LLMs) ने अनुसंधान समुदाय में महत्वपूर्ण ध्यान आकर्षित किया है। LLMs के विकास के साथ, संवादात्मक मॉडलों के लिए टेक्स्ट स्टाइल ट्रांसफर का सवाल एक प्राकृतिक विस्तार के रूप में उभरा है, जहाँ चैटबॉट्स के अपने स्वयं के स्टाइल या यहाँ तक कि चरित्र भी हो सकते हैं। हालांकि, इस नई सेटिंग्स के लिए मानक मूल्यांकन मीट्रिक अभी तक स्थापित नहीं हुए हैं। यह पेपर इस समस्या को हल करने के लिए LMStyle बेंचमार्क प्रस्तुत करता है, जो एक नवोन्मेषी मूल्यांकन ढांचा है जो चैट-शैली के टेक्स्ट स्टाइल ट्रांसफर (C-TST) पर लागू होता है, और जो LLMs के लिए स्टाइल ट्रांसफर की गुणवत्ता को स्वचालित और मापनीय तरीके से माप सकता है। पारंपरिक स्टाइल स्ट्रेंथ मीट्रिक के अतिरिक्त, LMStyle बेंचमार्क एक नए मीट्रिक पहलू को भी ध्यान में रखता है जिसे उपयुक्तता कहा जाता है, जो सहसंबंध, प्रवाहशीलता और अन्य अप्रत्यक्ष कारकों को संदर्भ नमूनों की सहायता के बिना ध्यान में रखता है। हमारे प्रयोग दिखाते हैं कि LMStyle बेंचमार्क द्वारा प्रस्तुत नए मूल्यांकन तरीकों का मानव निर्णयों के साथ उपयुक्तता के संदर्भ में अधिक सहसंबंध है। LMStyle बेंचमार्क के आधार पर, हम लोकप्रिय LLMs जैसे LLaMA, Alpaca, और Vicuna के लिए एक व्यापक मूल्यांकन परिणाम सूची प्रस्तुत करते हैं, जो उनकी शैलीगत विशेषताएँ जैसे औपचारिकता और भावना शक्ति के साथ-साथ उनकी उपयुक्तता को दर्शाता है।