La escala importa: Los grandes modelos de lenguaje con miles de millones (en lugar de millones) de parámetros coinciden mejor con las representaciones neuronales del lenguaje natural

Resumen Investigaciones recientes han utilizado grandes modelos de lenguaje (LLMs) para estudiar la base neuronal del procesamiento naturalista del lenguaje en el cerebro humano. Los LLMs han crecido rápidamente en complejidad, mejorando sus capacidades de procesamiento de lenguaje. Sin embargo, los investigadores en neurociencia no han seguido el rápido progreso en el desarrollo de los LLMs. Aquí, utilizamos varias familias de LLMs basados en transformadores para investigar la relación entre el tamaño del modelo y su capacidad para capturar información lingüística en el cerebro humano. De manera crucial, un subconjunto de LLMs fue entrenado con un conjunto de entrenamiento fijo, lo que nos permitió disociar el tamaño del modelo de la arquitectura y del tamaño del conjunto de entrenamiento. Usamos electrocorticografía (ECoG) para medir la actividad neuronal en pacientes con epilepsia mientras escuchaban una historia auditiva naturalista de 30 minutos. Ajustamos modelos de codificación por electrodo usando incrustaciones contextuales extraídas de cada capa oculta de los LLMs para predecir señales neuronales a nivel de palabra. De acuerdo con trabajos previos, encontramos que los LLMs más grandes capturan mejor la estructura del lenguaje natural y predicen mejor la actividad neuronal. También observamos una relación logarítmico-lineal donde el desempeño de codificación alcanza su pico en capas relativamente más tempranas a medida que aumenta el tamaño del modelo. Además, observamos variaciones en la capa de mejor desempeño entre diferentes regiones cerebrales, correspondiendo a una jerarquía organizada del procesamiento del lenguaje.