EAMET: Edição Robusta de Modelos em Larga Escala via Otimização do Alinhamento de Embeddings

Técnicas de edição de modelos são essenciais para atualizar eficientemente o conhecimento em grandes modelos de linguagem (LLMs). No entanto, a eficácia das abordagens existentes diminui em cenários de edição massiva, especialmente quando avaliadas com métricas práticas. A robustez delas também é limitada em contextos ricos ou quando se edita múltiplos fatos do mesmo sujeito simultaneamente. Atribuímos essas falhas ao desalinhamento dos embeddings entre itens de conhecimento, o que compromete a confiabilidade da edição em larga escala. Para resolver isso, propomos o EAMET (Embedding Alignment Model Editing in Transformers), que aborda essa questão alinhando o espaço dos embeddings-chave e dos embeddings residuais. Extensos experimentos em seis LLMs e três conjuntos de dados demonstram que o EAMET supera consistentemente métodos existentes, alcançando cerca de 90% de eficácia na edição ao modificar 10 mil fatos. Códigos e conjuntos de dados estão disponíveis publicamente em https://ybdai7.github.io/eamet-page/.