Los LLM con Cadena de Pensamiento no son Razonadores Causales

Este artículo explora el papel de la Cadena de Pensamiento (CoT) en el razonamiento de los Modelos de Lenguaje Grande (LLM). A pesar de su potencial para mejorar el rendimiento en tareas, nuestro análisis revela una frecuencia sorprendente de respuestas correctas que siguen a CoT incorrectos y viceversa. Empleamos análisis causal para evaluar la relación causa-efecto entre CoT/instrucciones y respuestas en los LLM, descubriendo el Modelo Causal Estructural (SCM) que los LLM aproximan. Al comparar el SCM implícito con el del razonamiento humano, destacamos discrepancias entre los procesos de razonamiento de los LLM y los humanos. Además, examinamos los factores que influyen en la estructura causal del SCM implícito, revelando que el aprendizaje en contexto, el ajuste fino supervisado y el aprendizaje por refuerzo basado en retroalimentación humana impactan significativamente las relaciones causales. Publicamos el código y los resultados en https: //github. com/StevenZHB/CoTCausalAnalysis.