ComplexFormer: Avanço Disruptivo na Capacidade de Inferência do Transformer por Meio de Atenção Vetorial Complexa Específica por Cabeça

Modelos Transformer dependem da autoatenção para capturar dependências entre tokens, mas enfrentam desafios na integração eficaz da informação posicional, ao mesmo tempo em que permitem flexibilidade na atenção multi-cabeça (MHA). Métodos anteriores frequentemente modelam diferenças semânticas e posicionais separadamente ou aplicam ajustes posicionais uniformes entre as cabeças, o que pode limitar a capacidade representacional. Este artigo apresenta o ComplexFormer, que incorpora a Atenção Multi-Cabeça Complexa (CMHA). CMHA capacita cada cabeça a modelar independentemente as diferenças semânticas e posicionais unificadas no plano complexo, representando interações como rotações e escalonamentos. ComplexFormer inclui duas melhorias principais: (1) uma transformação Euler por cabeça, convertendo projeções reais de consulta/chave em vetores complexos em forma polar para operação em subespaço complexo específica para cada cabeça; e (2) um mecanismo adaptativo de rotação diferencial por cabeça, expi(Adapt(ASmn,i) + Delta(Pmn),i), permitindo que cada cabeça aprenda estratégias distintas para integrar diferenças de ângulo semânticas (ASmn,i) com codificações posicionais relativas (Delta(Pmn),i). Experimentos extensivos em modelagem de linguagem, geração de texto, geração de código e raciocínio matemático demonstram que o ComplexFormer alcança desempenho superior, com perplexidade de geração significativamente menor e melhor coerência em contextos longos em comparação com baselines robustos como RoPE-Transformers. ComplexFormer apresenta alta eficiência de parâmetros, oferecendo um mecanismo de atenção mais expressivo e adaptável.