Destilación de Conocimiento en Línea mediante Aprendizaje Colaborativo

Este trabajo presenta un método eficiente pero efectivo de Destilación de Conocimiento en línea mediante Aprendizaje Colaborativo, denominado KDCL, que puede mejorar consistentemente la capacidad de generalización de redes neuronales profundas (DNNs) con diferentes capacidades de aprendizaje. A diferencia de los enfoques existentes de destilación de conocimiento en dos etapas, que preentrenan una DNN con gran capacidad como ''profesor'' y luego transfieren el conocimiento del profesor a otra DNN ''estudiante'' de forma unidireccional (es decir, en un solo sentido), KDCL trata a todas las DNN como ''estudiantes'' y las entrena colaborativamente en una sola etapa (el conocimiento se transfiere entre estudiantes arbitrarios durante el entrenamiento colaborativo), permitiendo cómputo paralelo, cálculos rápidos y una atractiva capacidad de generalización. Específicamente, diseñamos cuidadosamente múltiples métodos para generar objetivos suaves como supervisiones al ensamblar eficazmente las predicciones de los estudiantes y distorsionar las imágenes de entrada. Experimentos extensos demuestran que KDCL mejora consistentemente a todos los ''estudiantes'' en diferentes conjuntos de datos, incluyendo CIFAR-100 e ImageNet. Por ejemplo, cuando se entrenan juntos usando KDCL, ResNet-50 y MobileNetV2 alcanzan una precisión top-1 de 78.2% y 74.0% en ImageNet, superando los resultados originales en 1.4% y 2.0%, respectivamente. También verificamos que los modelos preentrenados con KDCL transfieren bien a detección de objetos y segmentación semántica en el conjunto de datos MS COCO. Por ejemplo, el detector FPN mejora en 0.9% mAP.