Viés Cognitivo em Decisões de Alto Risco com LLMs

Grandes modelos de linguagem (LLMs) oferecem potencial significativo como ferramentas para apoiar uma gama crescente de tarefas decisórias. No entanto, dado seu treinamento em dados humanos (criados por humanos), os LLMs podem herdar tanto vieses sociais contra grupos protegidos quanto estar sujeitos a vieses cognitivos. Tal viés semelhante ao humano pode impedir decisões justas e explicáveis feitas com assistência de LLMs. Nosso trabalho apresenta o BiasBuster, uma estrutura projetada para descobrir, avaliar e mitigar vieses cognitivos em LLMs, particularmente em tarefas decisórias de alto risco. Inspirados por pesquisas anteriores em psicologia e ciências cognitivas, desenvolvemos um conjunto de dados contendo 16.800 prompts para avaliar diferentes vieses cognitivos (por exemplo, induzidos por prompt, sequenciais, inerentes). Testamos várias estratégias de mitigação de viés, enquanto propomos um método inovador usando LLMs para corrigir automaticamente seus próprios prompts. Nossa análise fornece uma visão abrangente sobre a presença e os efeitos do viés cognitivo em diferentes modelos comerciais e de código aberto. Demonstramos que nossa auto-mitigação efetivamente reduz o viés cognitivo sem a necessidade de criar manualmente exemplos para cada tipo de viés.