ACON: Optimización de la compresión de contexto para agentes LLM de largo horizonte

Los grandes modelos de lenguaje (LLMs) se utilizan cada vez más como agentes en entornos dinámicos y del mundo real, donde el éxito requiere tanto razonamiento como el uso efectivo de herramientas. Un desafío central para las tareas agente es la creciente longitud del contexto, ya que los agentes deben acumular largas historias de acciones y observaciones. Esta expansión aumenta los costos y reduce la eficiencia en tareas de largo horizonte, sin embargo, trabajos previos sobre compresión de contexto se han enfocado principalmente en tareas de un solo paso o aplicaciones específicas. Presentamos Agent Context Optimization (ACON), un marco unificado que comprime óptimamente tanto las observaciones del entorno como las historias de interacción en condensaciones concisas pero informativas. ACON aprovecha la optimización de directrices de compresión en el espacio del lenguaje natural: dado pares de trayectorias donde el contexto completo tiene éxito pero el contexto comprimido falla, LLMs capaces analizan las causas del fracaso y la directriz de compresión se actualiza en consecuencia. Además, proponemos destilar el compresor LLM optimizado en modelos más pequeños para reducir la sobrecarga del módulo adicional. Experimentos en AppWorld, OfficeBench y Multi-objective QA muestran que ACON reduce el uso de memoria entre 26-54 % (tokens máximos) mientras preserva en gran medida el rendimiento de la tarea, mantiene más del 95 % de la precisión cuando se destila en compresores más pequeños, y mejora modelos de lenguaje más pequeños como agentes de largo horizonte con hasta un 46 % de mejora en rendimiento.