過学習の概要とその解決策

過学習は、監督あり機械学習における基本的な課題であり、トレーニングデータ上の観測データに対してモデルを完全に一般化できず、テストセットの未知のデータにも適合しにくくします。ノイズの存在、トレーニングセットのサイズ制限、分類器の複雑さが原因で過学習が起こります。本論文では、過学習を原因と解決策の観点から論じます。過学習の影響を軽減するために、以下の原因に対処する多様な戦略が提案されています。1）パフォーマンスの最適化が停止する前にトレーニングを停止し過学習を防ぐ「early-stopping」戦略、2）トレーニングセットのノイズを除外する「network-reduction」戦略、3）複雑なモデルのハイパーパラメータセットを大量のデータで微調整するための「data-expansion」戦略、4）特徴選択によりより有用な特徴とあまり有用でない特徴を区別しながら、現実の問題に対処する際にモデルの性能を高い水準で保証する「regularization」戦略です。