Explicando a Similaridade de Texto em Modelos Transformer

À medida que os Transformers se tornaram modelos de última geração para tarefas de processamento de linguagem natural (NLP), a necessidade de entender e explicar suas previsões tornou-se cada vez mais evidente. Especialmente em aplicações não supervisionadas, como tarefas de recuperação de informação, modelos de similaridade construídos sobre representações de modelos fundamentais têm sido amplamente aplicados. No entanto, seus mecanismos internos de previsão permaneceram em grande parte opacos. Avanços recentes em IA explicável tornaram possível mitigar essas limitações, aproveitando explicações aprimoradas para Transformers por meio da propagação de relevância em camadas (LRP). Usando BiLRP, uma extensão desenvolvida para computar explicações de segunda ordem em modelos de similaridade bilinear, investigamos quais interações de características impulsionam a similaridade em modelos de NLP. Validamos as explicações resultantes e demonstramos sua utilidade em três casos de uso em nível de corpus, analisando interações gramaticais, semântica multilíngue e recuperação de texto biomédico. Nossas descobertas contribuem para uma compreensão mais profunda de diferentes tarefas e modelos de similaridade semântica, destacando como novos métodos de IA explicável possibilitam análises aprofundadas e insights em nível de corpus.