SpikingResformer: 스파이킹 뉴럴 네트워크에서 ResNet과 비전 트랜스포머를 연결하다

인공신경망(ANN)에서 비전 트랜스포머의 눈부신 성공은 자기 주의 메커니즘과 트랜스포머 기반 아키텍처를 스파이킹 뉴럴 네트워크(SNN)에 통합하려는 관심을 증대시켰다. 기존 방법들은 SNN과 호환되는 스파이킹 자기 주의 메커니즘을 제안하지만, 합리적인 스케일링 방법이 부족하며, 이들 방법이 제안하는 전체 아키텍처는 국소 특징을 효과적으로 추출하는 데 병목 현상을 겪는다. 이러한 문제를 해결하기 위해, 우리는 합리적인 스케일링 방법을 갖춘 새로운 스파이킹 자기 주의 메커니즘인 Dual Spike Self-Attention(DSSA)를 제안한다. DSSA를 기반으로, ResNet 기반의 다단계 아키텍처와 우리의 DSSA를 결합한 새로운 스파이킹 비전 트랜스포머 아키텍처인 SpikingResformer를 제안하여 성능과 에너지 효율을 모두 개선하고 파라미터 수를 줄인다. 실험 결과 SpikingResformer는 다른 스파이킹 비전 트랜스포머에 비해 더 적은 파라미터와 낮은 에너지 소모로 더 높은 정확도를 달성한다. 특히, 우리 SpikingResformer-L은 4 타임스텝에서 ImageNet에서 79.40%의 top-1 정확도를 기록하여 SNN 분야 최고 성과를 나타낸다.