El Nacimiento del Conocimiento: Características Emergentes a través del Tiempo, el Espacio y la Escala en Grandes Modelos de Lenguaje

Este artículo estudia la emergencia de características categóricas interpretables dentro de grandes modelos de lenguaje (LLMs), analizando su comportamiento a través de puntos de control de entrenamiento (tiempo), capas transformadoras (espacio) y tamaños variados de modelos (escala). Utilizando autoencoders dispersos para la interpretabilidad mecánica, identificamos cuándo y dónde emergen conceptos semánticos específicos dentro de las activaciones neuronales. Los resultados indican umbrales claros específicos en tiempo y escala para la aparición de características en múltiples dominios. Notablemente, el análisis espacial revela una reactivación semántica inesperada, con características de capas tempranas que reaparecen en capas posteriores, desafiando las suposiciones estándar sobre la dinámica representacional en modelos transformadores.