要約 本研究では、監督された学習問題において勾配フローを介して訓練された専門家の混合（MoE）の漸近的挙動を研究します。我々の主な結果は、専門家の数が発散する際のMoEの混沌の伝播を確立します。それに対応するパラメータの経験分布が非線形連続性方程式を解く確率測度に近いことを示し、専門家の数とパラメータ空間の次元のみに依存する明示的な収束率を提供します。これらの結果を量子ニューラルネットワークによって生成されるMoEに適用します。
Share your take
Add a clinician perspective alongside expert commentary.
エルナンデスら（金曜日）はこの問題を研究しました。