Larimar: Modelos de Lenguaje a Gran Escala con Control de Memoria Episódica

La actualización eficiente y precisa del conocimiento almacenado en Modelos de Lenguaje a Gran Escala (LLMs) es uno de los retos de investigación más urgentes hoy en día. Este artículo presenta Larimar, una arquitectura novedosa inspirada en el cerebro para mejorar los LLMs con una memoria episódica distribuida. La memoria de Larimar permite actualizaciones dinámicas y de una sola vez del conocimiento sin necesidad de reentrenamiento o ajuste fino computacionalmente costoso. Los resultados experimentales en múltiples benchmarks de edición de hechos demuestran que Larimar alcanza una precisión comparable a la de la mayoría de los puntos de referencia competitivos, incluso en el desafiante contexto de edición secuencial, y también destaca en velocidad, logrando aceleraciones de 4 a 10 veces dependiendo del LLM base, así como en flexibilidad debido a que la arquitectura propuesta es simple, agnóstica al LLM y por lo tanto general. Además, proporcionamos mecanismos para el olvido selectivo de hechos y para la generalización de la longitud del contexto de entrada con Larimar y mostramos su efectividad.