バッチ正規化：内部共変量シフトを減少させることで深層ネットワークのトレーニングを加速する

ディープニューラルネットワークのトレーニングは、前の層のパラメータが変化するために各層の入力の分布がトレーニング中に変わるという事実によって複雑になります。これにより、学習率を低く設定し、パラメータの初期化を慎重に行う必要があり、飽和型非線形性を持つモデルのトレーニングが非常に難しくなります。この現象を内部共変量シフトと呼び、層の入力を正規化することで問題に対処します。私たちの方法は、正規化をモデルアーキテクチャの一部とし、各トレーニングミニバッチごとに正規化を行うことにより、その強みを発揮します。バッチ正規化により、はるかに高い学習率を使用でき、初期化にもあまり神経質にならずに済みます。また、正則化の役割も果たし、場合によってはDropoutの必要性をなくします。最先端の画像分類モデルに適用した結果、バッチ正規化は同じ精度を達成するのに従来の14分の1のトレーニングステップ数で済み、元のモデルを大幅に上回りました。バッチ正規化されたネットワークのアンサンブルを使用し、ImageNet分類の最高公表結果を更新し、トップ5検証誤差4.9%（テスト誤差4.8%）に到達し、人間の評価者の精度を超えました。