NLPのためのパラメータ効率的転移学習

大規模な事前学習済みモデルのファインチューニングは、NLPにおける効果的な転移手法です。しかし、多くの下流タスクがある場合、ファインチューニングはパラメータの非効率性を伴います：各タスクごとに新たなモデル全体が必要です。代替策として、我々はアダプターモジュールによる転移を提案します。アダプターモジュールは、コンパクトかつ拡張可能なモデルを実現します。タスクごとにわずかな訓練可能パラメータのみを追加し、新しいタスクは以前のタスクに戻ることなく追加可能です。元のネットワークのパラメータは固定されたままであり、高度なパラメータ共有を実現します。アダプターの有効性を示すために、我々は最近提案されたBERT TransformerモデルをGLUEベンチマークを含む26の多様なテキスト分類タスクに転移しました。アダプターは、タスクごとにわずかなパラメータを追加しながら、ほぼ最先端の性能を達成しました。GLUEでは、完全なファインチューニングの性能の0.4%以内に到達し、タスクごとに3.6%のパラメータを追加するのみでした。対照的に、ファインチューニングはタスクごとにパラメータの100%を訓練します。