強化学習におけるニューラルネットワーク関数近似のためのシグモイド加重線形ユニット

近年、ニューラルネットワークは強化学習における関数近似器として復興を遂げています。TesauroのTD-Gammonがバックギャモンでほぼトップレベルの人間の性能を達成してから20年後、深層強化学習アルゴリズムDQNは多くのAtari 2600ゲームで人間レベルの性能を達成しました。本研究の目的は二つあります。第一に、強化学習におけるニューラルネットワーク関数近似のために、シグモイド加重線形ユニット（SiLU）とその導関数（dSiLU）という二つの活性化関数を提案します。SiLUの活性化は、シグモイド関数に入力を乗じて計算されます。第二に、経験再生の代わりに適格トレースを用いたオンポリシー学習とソフトマックス行動選択というより伝統的なアプローチが、別のターゲットネットワークを必要とせずにDQNと競合し得ることを示唆します。提案手法の検証として、まずTD(λ)学習と浅いdSiLUネットワークエージェントを用いて確率的SZ-テトリスおよび小さな10×10ボードのテトリスで新たな最先端の成果を達成し、さらに深いSarsa(λ)エージェントがSiLUおよびdSiLU隠れユニットを用いてAtari 2600領域でDQNを上回る成果を示しました。