詳細な前提除去介入を通じた微細なLLMベースの物理推論の限界の探求

言語モデルは複雑で詳細な数学的推論を行う際に幻覚を起こすことがあります。物理学は、複雑な意味論（例えば、単位、テンソルの次数）を満たす必要がある記号の使用を伴う物理的文脈を内包する豊かなドメインであり、推論が代数的には一貫しているものの物理的には不適切な場合があるという特性を持ちます。本研究では、複数の表記法と物理学のサブドメインを網羅した精選されたデータセットを用いて、言語モデル（LM）が微細な数学的かつ物理的推論を行う能力を評価します。合成的な文脈内例を使用してゼロショットスコアを向上させ、支持となる前提の段階的な省略による摂動強度と推論品質の非線形劣化を示します。この設定では、物理的文脈が主に解法の逆解析に重きを置いて無視されるため、モデルの数学的推論は物理に基づいていないことが分かりました。