¿Reflejan los modelos de lenguaje grandes el procesamiento cognitivo del lenguaje?

Los grandes modelos de lenguaje (LLMs) han demostrado capacidades notables en la comprensión de texto y el razonamiento lógico, alcanzando o incluso superando el rendimiento a nivel humano en numerosas tareas cognitivas. Dado que los LLMs se entrenan a partir de salidas textuales masivas de la cognición del lenguaje humano, es natural preguntarse si los LLMs reflejan el procesamiento cognitivo del lenguaje. ¿O hasta qué punto los LLMs se parecen al procesamiento cognitivo del lenguaje? En este artículo, proponemos un método novedoso que conecta las representaciones de los LLM con señales cognitivas humanas para evaluar qué tan efectivamente los LLMs simulan el procesamiento cognitivo del lenguaje. Empleamos el Análisis de Similitud Representacional (RSA) para medir la alineación entre 16 LLMs principales y señales de fMRI del cerebro. Investigamos empíricamente el impacto de diversos factores (por ejemplo, escalado del modelo, entrenamiento de alineación, añadidura de instrucciones) en dicha alineación LLM-cerebro. Los resultados experimentales indican que el escalado del modelo está positivamente correlacionado con la similitud LLM-cerebro, y que el entrenamiento de alineación puede mejorar significativamente esta similitud. Además, el desempeño en una amplia gama de evaluaciones de LLMs (por ejemplo, MMLU, Chatbot Arena) está altamente correlacionado con la similitud LLM-cerebro.