필터 후 주의: 스펙트럼 필터링을 통한 주의 기반 시계열 예측 개선

트랜스포머 기반 모델은 장기 시계열 예측(LTSF) 분야에서 선두에 있습니다. 많은 경우 이러한 모델들은 최첨단 결과를 달성할 수 있지만, 데이터 내 저주파에 대한 편향과 높은 계산 및 메모리 요구사항 문제가 있습니다. 최근 연구에서는 학습 가능한 주파수 필터가 모델의 스펙트럼 활용을 향상시켜 딥 포캐스팅 모델의 중요한 구성 요소가 될 수 있음을 입증했습니다. 그러나 이 연구들은 필터링된 신호를 처리하는 데 다층 퍼셉트론을 사용하여 트랜스포머 기반 모델에서 발견된 문제를 해결하지 못했습니다. 본 논문에서는 트랜스포머 기반 모델의 시작 부분에 필터를 추가하는 것이 장기 시계열 예측 성능을 향상시킨다는 것을 입증합니다. 우리는 여러 트랜스포머 기반 모델에 추가 매개변수 약 1000개만 필요한 학습 가능한 필터를 추가하였고, 여러 사례에서 예측 성능이 5~10% 상대적으로 향상되는 것을 관찰했습니다. 또한 필터 추가 시 모델의 임베딩 차원을 줄일 수 있어, 필터를 적용하지 않은 기본 모델보다 크기가 작으면서도 더 효과적인 트랜스포머 아키텍처를 구현할 수 있음을 확인했습니다. 합성 실험을 통해 필터가 트랜스포머 기반 모델이 전체 스펙트럼을 더 잘 활용할 수 있도록 돕는 방식을 분석했습니다.