FiD-Light：効率的かつ効果的なリトリーバル強化型テキスト生成

リトリーバル強化型生成モデルは、単独の言語モデルに比べて多くの利点を提供します。特定のクエリに対するテキスト回答に加え、更新可能な知識ベースから取得した出典項目を提供します。しかしながら、これらはより複雑なシステムであり、長い入力を処理する必要があります。本研究では、最先端のリトリーバル強化型FiDモデルの効率性を大幅に向上させつつ、効果の水準を維持するFiD-Lightを提案します。我々のFiD-Lightモデルは、エンコーダ（パッセージを個別に符号化）からデコーダ（連結された符号化表現を使用）への情報フローを制限します。さらに、テキストソースポインタによる再ランキング機能を備えたFiD-Lightを適用し、上位ランクの出典精度を改善します。多様な7つの知識集約型タスク（KILT）に対する実験では、FiD-Lightがクエリ待機時間と効果の間のパレートフロンティアを一貫して改善することを示しています。ソースポインティングを用いたFiD-Lightは、テキスト生成と出典検索の評価を組み合わせた6つのKILTタスクで新たな最先端結果を樹立しつつ、高い効率性を維持しています。