Por que as explicações falham? Uma tipologia e discussão sobre falhas em XAI

À medida que os modelos de Machine Learning (ML) alcançam níveis sem precedentes de desempenho, o domínio de XAI visa tornar esses modelos compreensíveis, apresentando aos usuários finais explicações inteligíveis. No entanto, algumas abordagens existentes de XAI não atendem às expectativas: diversos problemas foram relatados na literatura, geralmente apontando limitações técnicas ou interpretações equivocadas pelos usuários. Neste artigo, defendemos que os danos resultantes surgem de uma sobreposição complexa de múltiplas falhas em XAI, que os estudos ad hoc existentes não capturam. Portanto, este trabalho advoga por uma perspectiva holística, apresentando uma investigação sistemática das limitações dos métodos atuais de XAI e seu impacto na interpretação das explicações. Ao distinguir entre falhas específicas do sistema e falhas específicas do usuário, propomos uma estrutura tipológica que ajuda a revelar as complexidades sutis das falhas de explicação. Aproveitando essa tipologia, discutimos também algumas direções de pesquisa para ajudar os profissionais de IA a entender melhor as limitações dos sistemas de XAI e aprimorar a qualidade das explicações de ML.