ACON：优化长远LLM代理的上下文压缩

大型语言模型（LLMs）越来越多地作为代理部署在动态的现实环境中，成功既依赖推理能力，也依赖有效的工具使用。代理任务的核心挑战是不断增长的上下文长度，因为代理必须积累长时间的动作和观察历史。这种扩展增加了成本，降低了长远任务的效率，然而以往关于上下文压缩的工作大多聚焦于单步任务或狭窄应用。我们提出了代理上下文优化（ACON），一个统一框架，最优地压缩环境观察和交互历史为简洁而信息丰富的浓缩表示。ACON利用自然语言空间中的压缩指导优化：给定完整上下文成功但压缩上下文失败的配对轨迹，有能力的LLM分析失败原因，相应更新压缩指导。此外，我们提出将优化后的LLM压缩器蒸馏到更小模型，以减少额外模块的开销。在AppWorld、OfficeBench和多目标问答上的实验表明，ACON减少了26-54%的内存使用（峰值代币数），同时大体保持了任务性能，蒸馏后的小型压缩器保持了95%以上的准确率，并提升较小语言模型作为长远代理的能力，性能最高提升46%。