A Ciência das Redes Cognitivas Revela Viés no GPT-3, GPT-3.5 Turbo e GPT-4 Refletindo Ansiedade Matemática em Estudantes do Ensino Médio

Grandes Modelos de Linguagem (LLMs) estão cada vez mais integrados em nossas vidas. Portanto, é importante compreender os vieses presentes em suas saídas para evitar perpetuar estereótipos prejudiciais, que se originam em nossas próprias formas falhas de pensamento. Esse desafio requer o desenvolvimento de novos benchmarks e métodos para quantificar viés afetivo e semântico, tendo em mente que os LLMs atuam como espelhos psico-sociais que refletem as visões e tendências prevalentes na sociedade. Uma dessas tendências com efeitos negativos prejudiciais é o fenômeno global da ansiedade em relação à matemática e disciplinas STEM. Neste estudo, apresentamos uma aplicação inédita da ciência das redes e da psicologia cognitiva para entender os vieses em direção à matemática e áreas STEM em LLMs do ChatGPT, como GPT-3, GPT-3.5 e GPT-4. Especificamente, usamos redes comportamentais forma mentis (BFMNs) para entender como esses LLMs enquadram a matemática e as disciplinas STEM em relação a outros conceitos. Usamos dados obtidos ao sondar os três LLMs em uma tarefa de geração de linguagem que já foi aplicada a humanos. Nossos achados indicam que os LLMs têm percepções negativas sobre matemática e áreas STEM, associando matemática a conceitos negativos em 6 casos de 10. Observamos diferenças significativas entre os modelos da OpenAI: versões mais recentes (ou seja, GPT-4) produzem percepções semanticamente 5 vezes mais ricas, mais emocionalmente polarizadas, com menos associações negativas em comparação com versões anteriores e com N=159 estudantes do ensino médio. Esses resultados sugerem que avanços na arquitetura dos LLMs podem levar a modelos cada vez menos tendenciosos que talvez possam um dia ajudar a reduzir estereótipos prejudiciais na sociedade em vez de perpetuá-los.