Dinâmica de Operadores em Fluxos Residuais de Transformers: Um Marco Unificado para Interpretabilidade, Detecção Adversarial, Controle Causal e Identificação Topológica de Modelos

Key Points

• A pesquisa visa desenvolver um marco para aprimorar a interpretabilidade e a segurança de modelos transformer.
• Desenvolve um marco unificado baseado em operadores de fluxo residual.
• Valida contribuições empíricas em múltiplos modelos.
• Explora diferenças intercamadas para analisar contribuições das camadas.
• Estabelece uma compreensão geométrica da dinâmica dos operadores em transformers.
• Demonstra melhorias na interpretabilidade e na detecção adversarial.
• Abrange uma ampla faixa de parâmetros em famílias arquitetônicas.

Abstract