オンザフライ・ネイティブ・アンサンブルによる知識蒸留

知識蒸留は、低メモリおよび高速実行の要件を満たすために、小型で一般化可能なネットワークモデルを訓練するのに効果的です。既存のオフライン蒸留手法は、強力な事前訓練済みの教師モデルに依存しており、有利な知識の発見と転送を可能にしますが、これには複雑な2段階の訓練手続きが必要です。オンラインの方法はこの制約に対応しますが、高容量の教師モデルが欠如しているという代償があります。本研究では、ワンステージのオンライン蒸留のためのOn-the-fly Native Ensemble（ONE）戦略を提案します。具体的には、ONEは単一のマルチブランチネットワークのみを訓練し、同時に強力な教師モデルをオンザフライで構築してターゲットネットワークの学習を強化します。広範な評価により、ONEはCIFAR10、CIFAR100、SVHN、ImageNetという4つの画像分類データセットで、多様な深層ニューラルネットワークの一般化性能を他の方法よりも有意に向上させ、計算効率の利点も持つことが示されています。