Key points are not available for this paper at this time.
知識蒸留は、低メモリおよび高速実行の要件を満たすために、小型で一般化可能なネットワークモデルを訓練するのに効果的です。既存のオフライン蒸留手法は、強力な事前訓練済みの教師モデルに依存しており、有利な知識の発見と転送を可能にしますが、これには複雑な2段階の訓練手続きが必要です。オンラインの方法はこの制約に対応しますが、高容量の教師モデルが欠如しているという代償があります。本研究では、ワンステージのオンライン蒸留のためのOn-the-fly Native Ensemble(ONE)戦略を提案します。具体的には、ONEは単一のマルチブランチネットワークのみを訓練し、同時に強力な教師モデルをオンザフライで構築してターゲットネットワークの学習を強化します。広範な評価により、ONEはCIFAR10、CIFAR100、SVHN、ImageNetという4つの画像分類データセットで、多様な深層ニューラルネットワークの一般化性能を他の方法よりも有意に向上させ、計算効率の利点も持つことが示されています。
Building similarity graph...
Analyzing shared references across papers
Loading...
Lan Xu
Xiatian Zhu
Shaogang Gong
Building similarity graph...
Analyzing shared references across papers
Loading...
Xuら(火曜日)はこの問題を研究しました。
www.synapsesocial.com/papers/6a08ebf71b91a3b1ea5b72ee — DOI: https://doi.org/10.48550/arxiv.1806.04606
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: