大規模言語モデルのためのメタ推論

我々はMeta-Reasoning Prompting（MRP）を紹介します。これは人間のメタ推論に着想を得た、大規模言語モデル（LLM）向けの新しい効率的なシステムプロンプティング手法です。Tree-of-Thoughtsなどの従来のインコンテキスト学習に基づく推論技術は有望ですが、その専門的な性質のため、多様なタスクで一貫して最先端の性能を発揮できていません。MRPは、各タスクの具体的な要件に応じて異なる推論手法を動的に選択・適用することで、この制限を克服し、性能と計算効率の両方を最適化します。MRPにより、LLMの推論は2つのフェーズで行われます。最初に、タスク入力の手がかりと利用可能な手法の客観的な説明を用いて、最も適切な推論手法を特定します。次に、選択された手法を適用してタスクを完遂します。この動的戦略は人間のメタ推論を模倣し、モデルが幅広い問題領域で優れた成果を発揮することを可能にします。包括的なベンチマークを通じてMRPの有効性を評価した結果、多様なタスクで最先端性能に到達または接近することが示されました。MRPは、LLMが問題ごとの認知的課題を識別し、多様な推論アプローチの利点を活用して、複雑で多様な問題領域を効率的に処理する能力を高める重要な進歩を表しています。すべてのLLMはその潜在能力を解き放ち、絶えず変化する課題と応用の環境に適応するためにメタ推論プロンプティングを必要としています。