Toolformer: يمكن لنماذج اللغة أن تعلم نفسها استخدام الأدوات

تُظهر نماذج اللغة (LMs) قدرات مذهلة على حل مهام جديدة من خلال عدد قليل فقط من الأمثلة أو التعليمات النصية، خاصة عند التوسع. ومع ذلك، تواجه هذه النماذج مفارقة في التعامل مع الوظائف الأساسية، مثل العمليات الحسابية أو البحث عن الحقائق، حيث تتفوق نماذج أبسط وأصغر بكثير. في هذه الورقة، نظهر أن نماذج اللغة يمكنها تعليم نفسها كيفية استخدام الأدوات الخارجية عبر واجهات برمجة التطبيقات (APIs) البسيطة وتحقيق أفضل ما في العالمين. نقدم Toolformer، وهو نموذج مدرب على اتخاذ قرار أي واجهات برمجة التطبيقات يجب استدعاؤها، ومتى يجب استدعاؤها، وما الوسائط التي يجب تمريرها، وكيفية دمج النتائج بأفضل طريقة في التنبؤ بالرموز المستقبلية. يتم ذلك بطريقة ذاتية المراقبة، ولا يتطلب أكثر من عدد قليل من العروض التوضيحية لكل واجهة برمجة تطبيقات. ندمج مجموعة من الأدوات، بما في ذلك آلة حاسبة، ونظام أسئلة وأجوبة، ومحركي بحث مختلفين، ونظام ترجمة، وتقويم. يحقق Toolformer أداء أفضل بشكل ملحوظ في المهام المتعددة بدون تدريب سابق (zero-shot)، وغالبًا ما يكون تنافسيًا مع نماذج أكبر بكثير، دون التضحية بقدرات نموذج اللغة الأساسية.