SpectralFormer: Reavaliando a Classificação de Imagens Hiperespectrais com Transformers

Imagens hiperespectrais (HS) são caracterizadas por informações espectrais aproximadamente contíguas, permitindo a identificação precisa de materiais ao capturar discrepâncias espectrais sutis. Devido à sua excelente capacidade de modelagem contextual local, redes neurais convolucionais (CNNs) têm se mostrado extratoras de características poderosas na classificação de imagens HS. No entanto, as CNNs não conseguem explorar e representar bem os atributos sequenciais das assinaturas espectrais devido às limitações de sua arquitetura intrínseca. Para resolver essa questão, repensamos a classificação de imagens HS sob uma perspectiva sequencial com transformers, e propomos uma nova rede backbone chamada SpectralFormer. Além das representações por banda dos transformers clássicos, o SpectralFormer é capaz de aprender informações locais sequenciais espectrais das bandas vizinhas das imagens HS, produzindo embeddings espectrais em grupos. Mais significativamente, para reduzir a possibilidade de perda de informações valiosas no processo de propagação camada a camada, concebemos uma conexão cruzada de salto entre camadas para transmitir componentes tipo memória das camadas rasas às profundas, aprendendo adaptativamente a fundir "resíduos suaves" entre as camadas. Vale destacar que o SpectralFormer proposto é uma rede backbone altamente flexível, aplicável tanto a entradas por pixel quanto por patch. Avaliamos o desempenho de classificação do SpectralFormer em três conjuntos de dados HS, conduzindo experimentos extensivos que demonstram sua superioridade sobre transformers clássicos e alcançando uma melhora significativa em comparação com redes backbone de ponta. Os códigos deste trabalho estarão disponíveis em https://github.com/danfenghong/IEEETGRSSpectralFormer para fins de reprodutibilidade.