Hal-Eval: Um Quadro Universal e Detalhado para Avaliação de Alucinações em Grandes Modelos de Linguagem Visual

Grandes Modelos de Linguagem Visual exibem capacidades notáveis, mas enfrentam dificuldades com alucinações — inconsistências entre imagens e suas descrições. Estudos anteriores de avaliação de alucinações em LVLMs identificaram alucinações em termos de objetos, atributos e relações, mas negligenciaram alucinações complexas que criam uma narrativa completa em torno de uma entidade fictícia. Neste artigo, introduzimos uma taxonomia refinada de alucinações, apresentando uma nova categoria: Alucinação de Evento. Em seguida, utilizamos LLMs avançados para gerar e filtrar dados alucinatórios detalhados consistindo em vários tipos de alucinações, com foco particular nas alucinações de eventos, estabelecendo a base para integrar métodos de avaliação discriminativos e generativos dentro do nosso quadro universal de avaliação. O benchmark proposto avalia distintamente a capacidade dos LVLMs para lidar com um amplo espectro de alucinações, tornando-o uma ferramenta confiável e abrangente para medir a eficácia dos LVLMs no manejo de alucinações. Vamos liberar nosso código e dados.