xRAG: ワントークンで実現する検索強化生成のための極限コンテキスト圧縮

本論文では、検索強化生成に特化した革新的なコンテキスト圧縮手法であるxRAGを紹介する。xRAGは、密検索で従来は検索専用に用いられてきた文書埋め込みを検索モダリティの特徴として再解釈する。モダリティ融合手法を用いることで、これらの埋め込みを言語モデルの表現空間にシームレスに統合し、テキスト表現を不要としつつ極限の圧縮率を実現している。xRAGでは、唯一訓練可能な部分はモダリティブリッジであり、リトリーバーと言語モデルは凍結されたままである。この設計により、オフラインで構築された文書埋め込みの再利用が可能であり、検索強化のプラグアンドプレイ性も維持される。実験結果は、xRAGが6つの知識集約タスクで平均10%以上の改善を達成し、密7Bモデルから8x7B Mixture of Experts構成までさまざまな言語モデルバックボーンに適応可能であることを示す。xRAGは従来のコンテキスト圧縮手法を大幅に上回るだけでなく、複数のデータセットで非圧縮モデルと同等の性能を発揮しながら、全体のFLOPsを3.53倍削減する。私たちの研究はマルチモダリティ融合の観点から検索強化生成に新たな方向性を切り拓き、今後の効率的かつスケーラブルな検索強化システムの基礎を築くことを目指している。