Autoformer: Zerlegungs-Transformers mit Auto-Korrelation für Langzeit-Serienvorhersagen

Die Verlängerung des Vorhersagezeitraums ist eine entscheidende Anforderung für reale Anwendungen wie die Frühwarnung vor extremem Wetter und den langfristigen Energieverbrauch. In diesem Papier wird das Problem der Langzeitvorhersage von Zeitreihen untersucht. Transformer-basierte Modelle verwenden verschiedene Selbstaufmerksamkeitsmechanismen, um langfristige Abhängigkeiten abzubilden. Komplexe zeitliche Muster der langfristigen Zukunft verhindern jedoch, dass das Modell zuverlässige Abhängigkeiten findet. Transformer müssen die sparsamen Versionen der Punkt-für-Punkt-Aufmerksamkeiten für lange Serien verwenden, was zu einem Informationsengpass führt. Über Transformers hinaus entwerfen wir den Autoformer als eine Zerlegungsarchitektur mit einem Auto-Korrelations-Mechanismus. Wir durchbrechen die Vorverarbeitungs-Konvention der Serienzerlegung und integrieren sie als inneren Block tiefer Modelle. Dieses Design verleiht dem Autoformer Zerlegungskapazitäten für komplexe Zeitreihen. Weiterhin, inspiriert von der Theorie der stochastischen Prozesse, entwerfen wir den Auto-Korrelations-Mechanismus basierend auf der Periodizität der Serie, der die Entdeckung und Aggregation von Abhängigkeiten auf Sub-Serien-Ebene durchführt. Auto-Korrelation-Selbstaufmerksamkeit verbessert sowohl Effizienz als auch Genauigkeit. Auf lange Sicht erzielt Autoformer eine hochmoderne Genauigkeit mit 38 % relativer Verbesserung bei sechs Benchmarks, die fünf praktische Anwendungen abdecken: Energie, Wirtschaft, Wetter und Krankheit. Der Code ist in diesem Repository verfügbar: : //github. com/thuml/Autoformer.