Un análisis sistemático de los modelos de lenguaje grande como razonadores suaves: El caso de las inferencias silogísticas

Las capacidades de razonamiento de los modelos de lenguaje grande (LLMs) se están convirtiendo en un foco central de estudio en PLN. En este artículo, consideramos el caso del razonamiento silogístico, un área del razonamiento deductivo estudiada extensamente en lógica y psicología cognitiva. Investigaciones previas han mostrado que los LLMs preentrenados exhiben sesgos de razonamiento, como efectos de contenido, evitan responder que no se sigue ninguna conclusión, muestran dificultades similares a las humanas y tienen problemas con el razonamiento de múltiples pasos. Contribuimos a esta línea de investigación investigando sistemáticamente los efectos del razonamiento en cadena de pensamiento, el aprendizaje en contexto (ICL) y el ajuste fino supervisado (SFT) sobre el razonamiento silogístico, considerando silogismos con conclusiones que apoyan o violan el conocimiento del mundo, así como aquellos con múltiples premisas. De manera crucial, vamos más allá del enfoque estándar en la precisión, con un análisis en profundidad de las conclusiones generadas por los modelos. Nuestros resultados sugieren que el comportamiento de los LLMs preentrenados puede explicarse mediante heurísticas estudiadas en ciencias cognitivas y que tanto el ICL como el SFT mejoran el rendimiento del modelo en inferencias válidas, aunque solo este último mitiga la mayoría de los sesgos de razonamiento sin perjudicar la consistencia del modelo.