大規模言語モデルは模範的なコンテキストの本質を理解している

インコンテキスト学習（ICL）は、大規模言語モデル（LLM）の進歩により重要な能力であることが証明されています。少数ショットのデモンストレーション例を用いてLLMに指示を与えることで、ICLは何百万ものパラメータを更新することなく、多様なタスクを実行可能にします。本論文では、LLMが影響力のあるインコンテキスト例を自ら選択し、それらを組み合わせてコンテキストを構成し、異なるデモンストレーション構成の候補を自己評価し、強化学習を通じてデモンストレーションの選択と順序を自己最適化する統一的なフレームワークを提案します。具体的には、我々の手法はパラメータ効率の良いリトリーバルヘッドを設計し、LLM自身の好みからの報酬を用いたトレーニング後に最適化されたデモンストレーションを生成します。実験結果は、提案手法がICL性能の向上に有効であることを検証しています。さらに、本手法は現在のタスクに最も代表的な例を効果的に特定および選択し、リトリーバルに多様性を取り入れることも可能です。