Estudando e aprimorando o raciocínio em humanos e máquinas

No presente estudo, investigamos e comparamos o raciocínio em grandes modelos de linguagem (LLMs) e humanos, utilizando uma seleção de ferramentas da psicologia cognitiva tradicionalmente dedicadas ao estudo da racionalidade (limitada). Apresentamos a participantes humanos e a uma série de LLMs pré-treinados novas variantes de experimentos cognitivos clássicos, e comparamos seus desempenhos. Nossos resultados mostraram que a maioria dos modelos incluídos apresentou erros de raciocínio semelhantes àqueles frequentemente atribuídos ao raciocínio humano baseado em heurísticas, sujeito a erros. Apesar dessa semelhança superficial, uma comparação aprofundada entre humanos e LLMs indicou diferenças importantes em relação ao raciocínio humano, com as limitações dos modelos praticamente desaparecendo em lançamentos mais recentes de LLMs. Além disso, mostramos que embora seja possível elaborar estratégias para induzir um melhor desempenho, humanos e máquinas não respondem igualmente aos mesmos esquemas de prompt. Concluímos discutindo as implicações epistemológicas e os desafios de comparar comportamento humano e de máquina para a inteligência artificial e a psicologia cognitiva.