टूलफॉर्मर: भाषा मॉडल स्वयं टूल्स का उपयोग करना सीख सकते हैं

भाषा मॉडल (LMs) नई कार्यों को केवल कुछ उदाहरणों या पाठ्य निर्देशों से हल करने की शानदार क्षमताएं प्रदर्शित करते हैं, खासकर बड़े पैमाने पर। वे, विरोधाभासी रूप से, मौलिक कार्यक्षमता जैसे अंकगणित या तथ्यात्मक खोज में संघर्ष करते हैं, जहां कहीं अधिक सरल और छोटे मॉडल उत्कृष्ट होते हैं। इस पेपर में, हम दिखाते हैं कि LMs सरल API के माध्यम से बाहरी टूल्स का उपयोग करना स्वयं सीख सकते हैं और दोनों दुनिया का सर्वोत्तम प्राप्त कर सकते हैं। हम टूलफॉर्मर प्रस्तुत करते हैं, एक मॉडल जो तय करता है कि कौन से API कॉल करने हैं, कब कॉल करना है, कौन से तर्क पास करने हैं, और भविष्य के टोकन पूर्वानुमान में परिणामों को कैसे सर्वोत्तम रूप से शामिल करना है। यह एक स्व-पर्यवेक्षित तरीके से किया जाता है, जिसमें प्रत्येक API के लिए कुछ डेमो मात्र की आवश्यकता होती है। हम विभिन्न टूल्स को सम्मिलित करते हैं, जिसमें एक कैलकुलेटर, एक प्रश्नोत्तरी प्रणाली, दो अलग-अलग खोज इंजन, एक अनुवाद प्रणाली, और एक कैलेंडर शामिल हैं। टूलफॉर्मर कई डाउनस्ट्रीम कार्यों में बिना अपनी मूल भाषा मॉडलिंग क्षमताओं का त्याग किए प्रभावी रूप से बेहतर ज़ीरो-शॉट प्रदर्शन प्राप्त करता है, जो अक्सर बड़े मॉडलों के समकक्ष होता है।