WDformer: 시계열 예측을 위한 웨이블릿 기반 미분 변환기 모델

시계열 예측은 기상 강수량 예측, 교통 흐름 분석, 금융 예측, 다양한 시스템의 운영 부하 모니터링 등 다양한 응용 분야가 있습니다. 시계열 데이터의 희소성 때문에 시간 영역 또는 주파수 영역 모델링에만 의존하면 다중 영역 정보를 충분히 활용하는 데 한계가 있습니다. 또한 시계열 예측 작업에 적용할 때, 전통적인 어텐션 메커니즘은 관련 없는 과거 정보에 과도하게 집중하는 경향이 있어 예측 과정에 노이즈를 도입하고 편향된 결과를 초래할 수 있습니다. 본 연구에서는 WDformer라는 웨이블릿 기반 미분 변환기 모델을 제안합니다. 이 연구는 웨이블릿 변환을 사용하여 시계열 데이터를 다중 해상도로 분석합니다. 시간-주파수 영역의 결합 표현의 장점을 활용하여 데이터의 본질적인 특성을 반영하는 핵심 정보 요소를 정확하게 추출합니다. 더불어, 역방향 차원에 어텐션 메커니즘을 적용하여 어텐션 메커니즘이 다중 변수 간의 관계를 포착할 수 있게 합니다. 어텐션 계산 시에는 두 개의 별도 소프트맥스 어텐션 행렬의 차이를 계산하는 미분 어텐션 메커니즘을 도입하여, 모델이 중요한 정보에 더 집중하고 노이즈를 줄일 수 있도록 하였습니다. WDformer는 여러 도전적인 실제 데이터셋에서 최첨단(SOTA) 결과를 달성하여 정확성과 효율성을 입증하였으며, 코드는 https://github.com/xiaowangbc/WDformer 에서 확인할 수 있습니다.