스파이킹 트랜스포머는 고주파 정보가 필요하다

스파이킹 트랜스포머는 이진(0/1) 스파이크만을 통해 정보를 전달함으로써 기존의 딥러닝에 비해 에너지 효율적인 대안을 제공합니다. 그러나 인공신경망에 비해 여전히 상당한 성능 격차가 존재합니다. 이진 및 희소 활성화 전달이 정보 손실을 초래하여 특징 표현과 정확도가 저하된다는 것이 일반적인 믿음입니다. 하지만 본 연구에서는 스파이킹 뉴런이 저주파 정보를 선호하여 전파한다는 사실을 처음으로 밝혔습니다. 우리는 고주파 성분의 빠른 소멸이 성능 저하의 주요 원인이라는 가설을 세웁니다. 예를 들어 Cifar-100에서 토큰 믹싱에 Avg-Pooling(저역통과)을 사용하면 성능이 76.73%로 떨어지지만, 이를 Max-Pooling(고역통과)으로 교체하면 top-1 정확도가 79.12%로 상승하여 잘 조정된 Spikformer 기본 모델보다 0.97% 더 높아집니다. 이에 우리는 패치 임베딩에 추가적인 Max-Pooling과 셀프 어텐션 대신 Depth-Wise Convolution을 활용하는 두 가지 고주파 강화 연산자를 통해 고주파 신호를 복원하는 Max-Former를 제안합니다. 특히, Max-Former(63.99 M)는 유사한 모델 크기 대비(74.81%, 66.34 M) Spikformer 대비 +7.58% 향상된 ImageNet에서 82.39% top-1 정확도를 기록합니다. 본 간단하지만 효과적인 해결책이 표준 딥러닝 내 확립된 관행을 넘어 스파이킹 신경망의 독특한 특성을 탐구하는 미래 연구에 영감을 주길 희망합니다. https://github.com/bic-L/Spiking-Transformers-Need-High-Frequency-Information코드는 공개되어 있습니다.