注意駆動型推論：大規模言語モデルの可能性を引き出す

大規模言語モデル（LLMs）は顕著な能力を示していますが、その推論能力および基礎となるメカニズムは十分に理解されていません。本研究では、追加の学習データを用いずに注意機構の最適化を通じてLLMsの推論を強化する新しいアプローチを提示します。非意味的トークンによって引き起こされる注意分布の非効率性を特定し、その偏った分布を再調整するアルゴリズムを提案することで、モデルがより細やかな知識を抽象化できるようにします。実験により、特に非STEMの質問に対して推論能力が大幅に向上することを示しました。LLMsの推論における注意パターンの役割についての洞察を提供し、これらの能力を高める方法を提案することで、より強力で多用途な言語モデルへの道を開きます。