Poda Variacional de Redes Neuronales Convolucionales

Proponemos un esquema bayesiano variacional para la poda de redes neuronales convolucionales a nivel de canales. Esta idea está motivada por el hecho de que los métodos de poda basados en valores determinísticos son inherentemente inapropiados e inestables. En resumen, se introduce una técnica variacional para estimar la distribución de un parámetro nuevo propuesto, llamado saliencia de canal; con base en esto, los canales redundantes pueden eliminarse del modelo mediante un criterio simple. Las ventajas son dos: 1) Nuestro método realiza la poda de canales sin necesidad de una etapa de reentrenamiento, mejorando así la eficiencia computacional. 2) Nuestro método se implementa como un módulo independiente, llamado capa de poda variacional, que puede insertarse directamente en paquetes de aprendizaje profundo estándar, sin ningún diseño especial de red. Resultados experimentales extensos demuestran bien la efectividad de nuestro método: Para CIFAR-10, realizamos la eliminación de canales en diferentes modelos de CNN hasta un 74% de reducción, lo que resulta en una reducción significativa del tamaño y ahorro computacional. Para ImageNet, aproximadamente el 40% de los canales de ResNet-50 se eliminan sin comprometer la precisión.