أوتوفورمر: محولات التفكيك مع الارتباط الذاتي للتنبؤ بسلاسل زمنية طويلة الأمد

تمديد وقت التنبؤ هو مطلب حاسم للتطبيقات العملية، مثل الإنذار المبكر للطقس القاسي والاستهلاك الطاقي طويل الأمد. تبحث هذه الورقة مشكلة التنبؤ طويل الأجل للسلاسل الزمنية. تعتمد نماذج المحولات على آليات الانتباه الذاتي المختلفة للتعامل مع الاعتماديات بعيدة المدى. ومع ذلك، تمنع الأنماط الزمنية المعقدة للمستقبل طويل الأمد النموذج من العثور على اعتماديات موثوقة. لذلك، يتعين على المحولات اعتماد نسخ متفرقة من الانتباهات القائمة على نقاط لتوفير الكفاءة في معالجة السلاسل الطويلة، مما يؤدي إلى عنق زجاجة في المعلومات. متجاوزين المحولات، صممنا أوتوفورمر كهيكل تفكيكي مزود بآلية ارتباط ذاتي. نكسر التقليد في معالجة ما قبل تفكيك السلاسل ونقوم بتحديثه ليصبح كتلة داخلية في النماذج العميقة. يزوّد هذا التصميم أوتوفورمر بقدرات التفكيك للسلاسل الزمنية المعقدة. علاوة على ذلك، مستوحين من نظرية العمليات العشوائية، صممنا آلية الارتباط الذاتي استنادًا إلى دورية السلسلة، التي تقوم باكتشاف وتجميع الاعتماديات على مستوى السلاسل الفرعية. يوفر الانتباه الذاتي بالارتباط الذاتي كفاءة ودقة عالية. على المدى الطويل، يحقق أوتوفورمر دقة متقدمة، مع تحسين نسبي بنسبة 38% على ستة معايير، تغطي خمسة تطبيقات عملية: الطاقة، الاقتصاد، الطقس، والمرض. يتوفر الكود في هذا المستودع: : //github.com/thuml/Autoformer.