Poda de Canales mediante Búsqueda Automática de Estructura

La poda de canales es uno de los enfoques predominantes para comprimir redes neuronales profundas. Para ello, la mayoría de los métodos de poda existentes se centran en seleccionar canales (filtros) por importancia/optimización o regularización basados en diseños empíricos, lo que resulta en una poda subóptima. En este artículo, proponemos un nuevo método de poda de canales basado en el algoritmo de colonia de abejas artificiales (ABC), denominado ABCPruner, que tiene como objetivo encontrar de manera eficiente la estructura podada óptima, es decir, el número de canales en cada capa, en lugar de seleccionar los canales "importantes" como hicieron trabajos anteriores. Para resolver las combinaciones intratables y enormes de estructuras podadas en redes profundas, primero proponemos restringir las combinaciones donde los canales preservados están limitados a un espacio específico, por lo tanto, las combinaciones de la estructura podada pueden reducirse significativamente. Luego, formulamos la búsqueda de la estructura podada óptima como un problema de optimización e integramos el algoritmo ABC para resolverlo de manera automática y reducir la interferencia humana. Se ha demostrado que ABCPruner es más efectivo, lo que también permite que el ajuste fino se realice de manera eficiente de extremo a extremo. Los códigos fuente están disponibles en https: //github.com/lmbxmu/ABCPruner.