Hyperband: Un enfoque novedoso basado en bandits para la optimización de hiperparámetros

El rendimiento de los algoritmos de aprendizaje automático depende críticamente de identificar un buen conjunto de hiperparámetros. Mientras que los enfoques recientes utilizan la optimización bayesiana para seleccionar configuraciones de manera adaptativa, nosotros nos enfocamos en acelerar la búsqueda aleatoria mediante la asignación adaptativa de recursos y la detención temprana. Formulamos la optimización de hiperparámetros como un problema de bandit infinito no estocástico de pura exploración, donde se asigna un recurso predefinido como iteraciones, muestras de datos o características a configuraciones muestreadas aleatoriamente. Introducimos un algoritmo novedoso, Hyperband, para este marco y analizamos sus propiedades teóricas, proporcionando varias garantías deseables. Además, comparamos Hyperband con métodos populares de optimización bayesiana en un conjunto de problemas de optimización de hiperparámetros. Observamos que Hyperband puede proporcionar un aumento de velocidad de más de un orden de magnitud sobre nuestro conjunto de competidores en una variedad de problemas de aprendizaje profundo y aprendizaje basado en kernels.