قوانين القياس لنماذج السلاسل الزمنية الكبيرة

قوانين القياس لنماذج اللغة الكبيرة (LLMs) قد قدمت إرشادات مفيدة حول كيفية تدريب نماذج أكبر باستمرار لتحقيق مكاسب أداء متوقعة. يشترك التنبؤ بالسلاسل الزمنية في هيكل تسلسلي مشابه للغة، وهو قابل للتطبيق على معماريات التحويل الكبيرة النطاق. هنا نظهر أن نماذج المحول التأسيسية للاستقبال فقط للسلاسل الزمنية تظهر سلوك قياس مشابه لـ LLMs، في حين أن التفاصيل المعمارية (نسبة الأبعاد وعدد الرؤوس) لها أثر طفيف على نطاقات واسعة. قمنا بتجميع مجموعة كبيرة من بيانات السلاسل الزمنية المتنوعة للتدريب، ونثبت، لأول مرة، علاقات قياس قانون القوة بالنسبة لعدد المعلمات، حجم مجموعة البيانات، والكمية الحاسوبية للتدريب، ممتدة على خمسة أوامر من الحجم.