MambaVC: Compressão Visual Aprendida com Espaços Estaduais Seletivos

A compressão visual aprendida é uma tarefa importante e ativa em multimídia. Abordagens existentes exploraram vários designs baseados em CNN e Transformer para modelar a distribuição do conteúdo e eliminar redundâncias, onde o equilíbrio entre eficácia (ou seja, o compromisso taxa-distorção) e eficiência continua sendo um desafio. Recentemente, modelos de espaço de estados (SSMs) demonstraram potencial devido à sua capacidade de modelagem de longo alcance e eficiência. Inspirados por isso, damos o primeiro passo para explorar SSMs para compressão visual. Apresentamos MambaVC, uma rede de compressão simples, forte e eficiente baseada em SSM. O MambaVC desenvolve um bloco de espaço estadual visual (VSS) com um módulo de varredura seletiva 2D (2DSS) como função de ativação não linear após cada redução de amostragem, o que ajuda a capturar contextos globais informativos e aprimora a compressão. Em conjuntos de dados de referência para compressão, o MambaVC alcança desempenho superior na relação taxa-distorção com menor custo computacional e de memória. Especificamente, ele supera variantes CNN e Transformer em 9,3% e 15,6% no Kodak, respectivamente, enquanto reduz o cálculo em 42% e 24% e economiza 12% e 71% de memória. O MambaVC apresenta melhorias ainda maiores com imagens de alta resolução, destacando seu potencial e escalabilidade em aplicações do mundo real. Também fornecemos uma comparação abrangente de diferentes designs de rede, ressaltando as vantagens do MambaVC. O código está disponível em https://github.com/QinSY123/2024-MambaVC.