RL環境の混合における専門家の混合

専門家の混合（MoEs）は、推論効率の向上、分散トレーニングへの適応性、モジュール性により、（自己）教師あり学習で注目を集めています。これまでの研究では、MoEsがネットワークのパラメータ数を拡大しつつ、休止ニューロンを減らすことで、ディープ強化学習（DRL）の性能を大幅に向上させ、モデルの学習能力と非定常性への対応力を高めることが示されています。本研究では、MoEsの非定常性への対応能力をさらに明らかにし、マルチタスクトレーニングを通じて「増幅」された非定常性を伴うDRL環境でのMoEsを調査し、MoEsが学習能力を向上させるという追加の証拠を提供します。従来の研究とは異なり、我々のマルチタスク結果は、DRLトレーニングにおけるMoEの有益な効果の根本原因、さまざまなMoEコンポーネントの影響、およびアクタークリティックベースのDRLネットワークへの最適な組み込み方についての洞察をより深く理解することを可能にします。最後に、我々も従来の研究の結果を確認しています。