SpikingResformer: Brücke zwischen ResNet und Vision Transformer in spikenden neuronalen Netzwerken

Der bemerkenswerte Erfolg von Vision Transformers in künstlichen neuronalen Netzwerken (ANNs) hat zu einem wachsenden Interesse an der Integration des Selbstaufmerksamkeitsmechanismus und der transformatorbasierten Architektur in spikende neuronale Netzwerke (SNNs) geführt. Während bestehende Methoden spikende Selbstaufmerksamkeitsmechanismen vorschlagen, die mit SNNs kompatibel sind, fehlen ihnen vernünftige Skalierungsmethoden, und die insgesamt vorgeschlagenen Architekturen leiden unter einem Engpass bei der effektiven Extraktion lokaler Merkmale. Um diese Herausforderungen zu bewältigen, schlagen wir einen neuartigen spikenden Selbstaufmerksamkeitsmechanismus namens Dual Spike Self-Attention (DSSA) mit einer vernünftigen Skalierungsmethode vor. Basierend auf DSSA schlagen wir eine neue spikende Vision Transformer-Architektur namens SpikingResformer vor, die die auf ResNet basierende mehrstufige Architektur mit unserem vorgeschlagenen DSSA kombiniert, um sowohl Leistung als auch Energieeffizienz zu verbessern und gleichzeitig die Anzahl der Parameter zu reduzieren. Experimentelle Ergebnisse zeigen, dass SpikingResformer mit weniger Parametern und geringerem Energieverbrauch eine höhere Genauigkeit als andere spikende Vision Transformer-Konkurrenten erreicht. Bemerkenswert ist, dass unser SpikingResformer-L auf ImageNet mit 4 Zeitschritten eine Top-1-Genauigkeit von 79,40 % erreicht, was das derzeit beste Ergebnis im Bereich der SNN darstellt.