FreEformer: Frequenzverbesserter Transformer für multivariate Zeitreihenprognosen

Dieses Papier stellt FreEformer vor, ein einfaches, aber effektives Modell, das einen Frequency Enhanced Transformer für die multivariate Zeitreihenprognose nutzt. Unsere Arbeit basiert auf der Annahme, dass das Frequenzspektrum eine globale Perspektive auf die Zusammensetzung der Zeitreihen über verschiedene Frequenzen hinweg bietet und sich hervorragend für robustes Repräsentationslernen eignet. Konkret wandeln wir zunächst Zeitreihen mittels der Diskreten Fourier-Transformation (DFT) in den komplexen Frequenzbereich um. Die Transformer-Architektur wird anschließend auf die Frequenzspektren angewandt, um Abhängigkeiten zwischen den Variablen zu erfassen, wobei der reale und der imaginäre Teil unabhängig voneinander verarbeitet werden. Allerdings beobachten wir, dass die Vanilla-Attentionsmatrix eine Niedrigrang-Eigenschaft aufweist, was die Repräsentationsvielfalt einschränkt. Um dem entgegenzuwirken, verbessern wir den Vanilla-Attentionsmechanismus durch die Einführung einer zusätzlichen lernbaren Matrix, die zur ursprünglichen Attention-Matrix addiert wird, gefolgt von einer zeilenweisen L1-Normalisierung. Theoretische Analysen zeigen, dass dieser verbesserte Attention-Mechanismus sowohl die Diversität der Merkmale als auch den Gradientenfluss verbessert. Umfangreiche Experimente belegen, dass FreEformer beständig die Stand-der-Technik-Modelle bei achtzehn realen Benchmarks übertrifft, die Bereiche wie Elektrizität, Verkehr, Wetter, Gesundheitswesen und Finanzen abdecken. Bemerkenswerterweise verbessert der erweiterte Attention-Mechanismus ebenfalls durchweg die Leistung transformerbasierter Top-Prognosemodelle. Code ist verfügbar unter https://anonymous.4open.science/r/FreEformer.