CELL your Model: 大規模言語モデルのための対比説明手法

ブラックボックスの深層ニューラルネットワーク分類モデルの登場により、その決定を説明する必要性が生まれました。しかし、大規模言語モデル（LLM）などの生成型AIの場合、説明すべきクラス予測が存在しません。むしろ、LLMが特定のプロンプトに対して特定の応答を出力した理由を問うことができます。本論文では、私たちの知る限りで初めて、ブラックボックス/クエリアクセスのみを必要とする対比的説明手法を提案し、この問いに答えます。我々の説明は、LLMが与えられたプロンプトに対して応答を出力するのは、プロンプトがわずかに変更された場合、LLMは元の応答よりも好ましくない、あるいは矛盾する異なる応答を返すからだと示唆しています。重要な洞察は、対比的説明はユーザーに意味のある距離関数を必要とするだけであり、特定の応答（つまりクラスラベル）の実数値表現を必ずしも要求しないということです。対比的説明を見つけるための二つのアルゴリズムを提供します：i) 対比作成に効果的ですが、多くのモデル呼び出しを必要とするミオピックアルゴリズム、ii) クエリ予算に従いながら賢く対比を作成する我々の主要なアルゴリズム的貢献であるバジェット付きアルゴリズムであり、これはより長い文脈で必要となります。これらの手法の有効性を、オープンテキスト生成、自動レッドチーミング、会話品質の劣化説明など多様な自然言語タスクで示します。