动态本地集成的知识蒸馏

知识蒸馏对于训练小型且可泛化的网络模型以满足低内存和快速运行的需求非常有效。现有的离线蒸馏方法依赖于强大的预训练教师模型，这有助于知识的有效发现和传递，但需要复杂的两阶段训练过程。在线蒸馏方法虽解决了这一限制，但代价是缺乏高容量教师模型。在本工作中，我们提出了动态本地集成（ONE）策略，实现单阶段的在线蒸馏。具体而言，ONE只训练一个多分支网络，同时动态构建一个强大的教师模型以增强目标网络的学习能力。大量评估表明，ONE在四个图像分类数据集：CIFAR10、CIFAR100、SVHN和ImageNet上，比其他方法更显著地提升了多种深度神经网络的泛化能力，同时具备计算效率优势。