Memoria Jerárquica para un Razonamiento a Largo Plazo de Alta Eficiencia en Agentes LLM

La memoria a largo plazo es uno de los factores clave que influyen en las capacidades de razonamiento de los Agentes de Modelos de Lenguaje Grandes (Agentes LLM). Incorporar un mecanismo de memoria que integre eficazmente las interacciones pasadas puede mejorar significativamente la toma de decisiones y la coherencia contextual de los Agentes LLM. Aunque trabajos recientes han avanzado en el almacenamiento y recuperación de memoria, como codificar la memoria en vectores densos para búsquedas basadas en similitud u organizar el conocimiento en forma de grafo, estos enfoques a menudo carecen de una organización estructurada de la memoria y una recuperación eficiente. Para abordar estas limitaciones, proponemos una arquitectura de Memoria Jerárquica (H-MEM) para Agentes LLM que organiza y actualiza la memoria de manera multinivel basada en el grado de abstracción semántica. Cada vector de memoria está incrustado con una codificación de índice posicional que apunta a sus sub-memorias semánticamente relacionadas en la siguiente capa. Durante la fase de razonamiento, un mecanismo de enrutamiento basado en índices permite una recuperación eficiente capa por capa sin realizar cálculos exhaustivos de similitud. Evaluamos nuestro método en cinco configuraciones de tareas del conjunto de datos LoCoMo. Los resultados experimentales muestran que nuestro enfoque supera consistentemente a cinco métodos base, demostrando su efectividad en escenarios de diálogo a largo plazo.