Comportamiento intuitivo similar al humano y sesgos de razonamiento surgieron en grandes modelos de lenguaje pero desaparecieron en ChatGPT

Resumen Diseñamos una batería de ilusiones semánticas y pruebas de reflexión cognitiva, destinadas a elicitar respuestas intuitivas pero erróneas. Aplicamos estas tareas, tradicionalmente usadas para estudiar el razonamiento y la toma de decisiones en humanos, a la familia de modelos generativos preentrenados de OpenAI. Los resultados muestran que, a medida que los modelos crecen en tamaño y competencia lingüística, muestran cada vez más un pensamiento intuitivo tipo sistema 1 parecido al humano y errores cognitivos asociados. Este patrón cambia notablemente con la introducción de los modelos ChatGPT, que tienden a responder correctamente, evitando las trampas incrustadas en las tareas. Tanto ChatGPT-3.5 como 4 utilizan la ventana de contexto de entrada-salida para involucrarse en un razonamiento en cadena de pensamiento, reminiscente de cómo las personas usan cuadernos para apoyar su pensamiento de sistema 2. Sin embargo, permanecen precisos incluso cuando se les impide realizar este razonamiento en cadena, lo que indica que sus procesos de generación de la siguiente palabra, similares al sistema 1, son más exactos que los de modelos anteriores. Nuestros hallazgos destacan el valor de aplicar metodologías psicológicas para estudiar grandes modelos de lenguaje, ya que esto puede descubrir características emergentes previamente no detectadas.