自然言語形式でのプロンプト圧縮学習

大規模言語モデル（LLM）は複数の自然言語処理タスクを優れた性能で処理しますが、長いコンテキストに対する性能低下、推論速度の遅さ、結果算出の高コストに制約されています。精密で情報豊富なコンテキストでLLMを展開することは、ユーザーが大規模データセットをより効果的かつコスト効率良く処理するのに役立ちます。既存の研究は、長いプロンプトコンテキストをソフトプロンプトに圧縮することに依存しています。しかし、ソフトプロンプト圧縮は特にAPIベースのLLM間での転送性に制限があります。そこで本研究は、LLMの転送性を保ちながら自然言語の形で長大なプロンプトを圧縮することを目的とします。これには二つの課題があります：（i）自然言語（NL）プロンプトは逆伝播に適合しないこと、（ii）NLプロンプトは長さ制約の柔軟な適用が難しいことです。本研究では、元のプロンプトをNL形式のカプセルプロンプトに圧縮しつつ、プロンプトの有用性と転送性を維持する自然言語プロンプト・カプセル化（Nano-Capsulator）フレームワークを提案します。具体的には、第一の課題に対処するため、Nano-Capsulatorは提案する意味保存損失と相互作用する報酬関数で最適化されます。第二の課題には、長さ制約を特徴とする報酬関数でNano-Capsulatorを最適化します。実験結果は、カプセルプロンプトが元の長さの81.4%を削減し、推論遅延を最大4.5倍低減し、予算オーバーヘッドを80.1%節約しつつ、多様なLLMや異なるデータセット間での転送性を提供することを示しています。