LLMは反事実的に自らを説明できるか？

説明は、機械学習モデルの挙動の洞察を得るため、ユーザーの信頼を調整するため、そして規制遵守を確保するための重要な手段です。過去数年間、多くの事後解析的説明手法が登場しましたが、その多くはモデルの勾配の計算や特別に設計された最適化問題の解決を伴います。しかし、Large Language Model（LLM）の著しい推論能力により、モデル自身に出力の説明を促す自己説明という新たなパラダイムが最近注目されています。本研究では、自己生成された反事実的説明（SCE）という特定の自己説明のタイプを検討します。LLMがSCEを生成する効果を測定するテストを設計しました。様々なLLMファミリー、モデルサイズ、温度設定、データセットでの分析により、LLMは時にSCEの生成に苦戦し、たとえ生成できても、その予測は自身の反事実的推論と一致しないことが明らかになりました。