Key points are not available for this paper at this time.
تُظهر نماذج اللغة (LMs) قدرات مذهلة على حل مهام جديدة من خلال عدد قليل فقط من الأمثلة أو التعليمات النصية، خاصة عند التوسع. ومع ذلك، تواجه هذه النماذج مفارقة في التعامل مع الوظائف الأساسية، مثل العمليات الحسابية أو البحث عن الحقائق، حيث تتفوق نماذج أبسط وأصغر بكثير. في هذه الورقة، نظهر أن نماذج اللغة يمكنها تعليم نفسها كيفية استخدام الأدوات الخارجية عبر واجهات برمجة التطبيقات (APIs) البسيطة وتحقيق أفضل ما في العالمين. نقدم Toolformer، وهو نموذج مدرب على اتخاذ قرار أي واجهات برمجة التطبيقات يجب استدعاؤها، ومتى يجب استدعاؤها، وما الوسائط التي يجب تمريرها، وكيفية دمج النتائج بأفضل طريقة في التنبؤ بالرموز المستقبلية. يتم ذلك بطريقة ذاتية المراقبة، ولا يتطلب أكثر من عدد قليل من العروض التوضيحية لكل واجهة برمجة تطبيقات. ندمج مجموعة من الأدوات، بما في ذلك آلة حاسبة، ونظام أسئلة وأجوبة، ومحركي بحث مختلفين، ونظام ترجمة، وتقويم. يحقق Toolformer أداء أفضل بشكل ملحوظ في المهام المتعددة بدون تدريب سابق (zero-shot)، وغالبًا ما يكون تنافسيًا مع نماذج أكبر بكثير، دون التضحية بقدرات نموذج اللغة الأساسية.
Building similarity graph...
Analyzing shared references across papers
Loading...
Timo Schick
Jane Dwivedi-Yu
Roberto Dessì
Building similarity graph...
Analyzing shared references across papers
Loading...
درس Schick وآخرون (الخميس،) هذا السؤال.
www.synapsesocial.com/papers/6a08cd155686deba6901f232 — DOI: https://doi.org/10.48550/arxiv.2302.04761