検索と推論の融合：長文理解のための動的インコンテキスト編集

現在の大規模言語モデル（LLM）は事前に定義されたコンテキスト長の制約を受けており、広範なテキストコンテキスト内でのマルチホップ推論能力が制限されています。Retrieval-Augmented Generation（RAG）など既存の技術は外部情報を取り込むことでこの制約に対処しようとしていますが、直接的な回答が容易に得られない場合には十分ではありません。私たちは、近年の知識編集の突破口に着想を得て、動的インコンテキスト編集を通じて情報検索を再構想する新たなアプローチを提案します。長大なコンテキストを柔軟に操作可能な外部知識として扱い、関連情報を双方向的に収集・統合することで、LLMが高度な推論ステップを実行できるようにします。実験結果は、本手法がLlama2のようなコンテキストに制限のあるLLMにマルチホップ推論能力を効果的に付与し、最先端のコンテキストウィンドウ外挿法を上回り、さらに高度な商用長文コンテキストモデルにも匹敵する性能を示すことを明らかにしました。本手法は推論能力を高めるだけでなく、それに伴う訓練および計算コストを軽減し、広範なコンテキスト内でのLLMの推論能力を強化する現実的な解決策となります。