Consolidación de Memoria de Sistema Dual para el Aprendizaje de por Vida en Modelos de Lenguaje: Combinando la Edición Directa de Pesos con el Entrenamiento Sueño-Vigilia

Introducimos una arquitectura de memoria de sistema dual para modelos de lenguaje inspirada en la teoría de Sistemas Complementarios de Aprendizaje (CLS). MEMIT (Mass-Editing Memory in Transformers) sirve como codificación rápida hipocampal, inyectando hechos directamente en los pesos MLP durante la vigilia. El ajuste fino LoRA sirve como consolidación neocortical lenta durante el sueño. Desarrollamos MEMIT regularizado por covarianza con restricciones de espacio nulo de edición cruzada que evitan que las ediciones nuevas sobrescriban las anteriores, y validamos el sistema dual en modelos de 3B, 8B y 70B parámetros. Ablaciones clave muestran: (1) el sistema dual supera a cada componente por separado, (2) las restricciones de espacio nulo logran retención perfecta a través de ediciones secuenciales, y (3) la identidad de Woodbury permite una regularización de covarianza eficiente en espacio N x N en lugar de d x d.