InfuserKI: Infuser-Guided Knowledge Integrationによるナレッジグラフを用いた大規模言語モデルの強化

大規模言語モデル（LLM）は多様な領域で優れたオープン生成能力を示しているものの、知識集約型タスクにおいては課題があります。この問題を緩和するために、外部モジュールを用いてドメイン固有のナレッジグラフでLLMを強化する知識統合手法が提案されてきました。しかし、これらは既知知識と未知知識の両方を微調整に必要とするためデータ効率が低いという問題を抱えています。そこで本研究では、既知知識の不必要な重複なしに未知知識を効率的にLLMに統合する新たな問題を検討します。新たな知識の注入は既に獲得した知識の忘却リスクを伴います。これに対処するために、トランスフォーマーの内部状態を活用して元のLLM出力に追加情報を強化すべきか判定し、知識忘却を効果的に軽減する新規のInfuser-Guided Knowledge Integration（InfuserKI）フレームワークを提案します。UMLS-2.5kおよびMetaQAのドメインナレッジグラフにおける評価により、InfuserKIは新規知識を効果的に獲得でき、知識忘却の軽減で最先端のベースラインに対してそれぞれ9％と6％の改善を示しました。