非常に長い文脈の要旨記憶を持つ人間に触発された読書エージェント

現在の大型言語モデル（LLMs）は最大コンテキスト長に制限があるだけでなく、長い入力を堅牢に処理することもできません。これらの制約に対処するために、我々はReadAgentを提案します。これは実験において効果的なコンテキスト長を最大20倍に延長するLLMエージェントシステムです。人間が長い文書を対話的に読む様子に着想を得て、ReadAgentは以下を行う単純なプロンプティングシステムとして実装されます。(1) メモリエピソードに一緒に保存する内容を決定し、(2) それらのメモリエピソードを要旨記憶と呼ばれる短いエピソード記憶へ圧縮し、(3) タスクを完遂するために関係する詳細を思い出す必要がある場合に、元のテキストのパッセージを検索するためのアクションを取ります。ReadAgentは、検索手法を用いたベースライン、元の長文脈、要旨記憶を用いたベースラインと比較評価を行いました。これらは3つの長文読解タスク（QuALITY、NarrativeQA、QMSum）で実施されました。ReadAgentは、効果的なコンテキストウィンドウを3〜20倍拡張しつつ、3つのタスク全てでベースラインを上回る性能を示しました。