大規模言語モデルにおける推論：幾何学的視点

実世界アプリケーション向けの大規模言語モデル（LLM）の進展は、その推論能力の向上に大きく依存しています。本研究では、大規模言語モデル（LLM）の推論能力を幾何学的理解を通じて探究します。LLMの表現力と自己注意グラフの密度との関連を確立しました。分析の結果、これらのグラフの密度がMLPブロックの入力の内在次元を定義することを示します。理論分析と簡単な例を通じて、より高い内在次元がLLMのより大きな表現力を意味することを示します。さらに、この幾何学的枠組みとLLMの推論能力強化を目的とした最新の手法の進展との関連性を実証的に示します。