SDformer: Transformer con Filtro Espectral y Atención Dinámica para Pronóstico a Largo Plazo de Series Temporales Multivariadas

Transformer ha ganado una adopción generalizada en la modelización de series temporales debido a la excepcional capacidad de su mecanismo de auto-atención para capturar dependencias a largo plazo. Sin embargo, al procesar datos de series temporales con numerosas variantes, el mecanismo de auto-atención estándar tiende a distribuir los pesos de atención de manera uniforme y suave, causando una homogeneización por filas en los mapas de atención y obstaculizando aún más el pronóstico de series temporales. Para abordar este problema, proponemos una arquitectura avanzada de Transformer denominada SDformer, que diseña dos módulos novedosos, Spectral-Filter-Transform (SFT) y Dynamic-Directional-Attention (DDA), e integra estos en el codificador del Transformer para lograr una asignación de atención más intensiva. Específicamente, el módulo SFT utiliza la Transformada Rápida de Fourier para seleccionar las frecuencias más prominentes, junto con una Ventana de Hamming para suavizar y eliminar ruido de los datos filtrados; El módulo DDA aplica una función kernel especializada a los vectores de consulta y clave proyectados desde los datos desruidos, concentrando este mecanismo innovador de atención más efectivamente en las variantes más informativas para obtener una distribución de atención más aguda. Estos dos módulos en conjunto permiten que los pesos de atención sean más sobresalientes entre numerosas variantes, lo que a su vez mejora la capacidad de la atención para capturar correlaciones multivariadas, mejorando el rendimiento en el pronóstico. Experimentos extensos en conjuntos de datos públicos demuestran su desempeño superior sobre otros modelos de última generación. El código está disponible en https://github.com/zhouziyu02/SDformer.