Entrenamiento Basado en Población de Redes Neuronales

Las redes neuronales dominan el panorama moderno del aprendizaje automático, pero su entrenamiento y éxito aún sufren debido a la sensibilidad a las elecciones empíricas de hiperparámetros como la arquitectura del modelo, la función de pérdida y el algoritmo de optimización. En este trabajo presentamos Population Based Training (PBT), un algoritmo de optimización asincrónico simple que utiliza eficazmente un presupuesto computacional fijo para optimizar conjuntamente una población de modelos y sus hiperparámetros con el fin de maximizar el rendimiento. Es importante destacar que PBT descubre un programa de configuraciones de hiperparámetros en lugar de seguir la estrategia generalmente subóptima de intentar encontrar un único conjunto fijo para usar durante todo el entrenamiento. Con solo una pequeña modificación a un marco típico distribuido de entrenamiento de hiperparámetros, nuestro método permite un entrenamiento robusto y confiable de modelos. Demostramos la efectividad de PBT en problemas de aprendizaje profundo por refuerzo, mostrando una convergencia más rápida en tiempo real y un mayor rendimiento final de los agentes al optimizar sobre un conjunto de hiperparámetros. Además, mostramos que el mismo método puede aplicarse al aprendizaje supervisado para traducción automática, donde PBT se utiliza para maximizar directamente la puntuación BLEU, y también al entrenamiento de Redes Generativas Antagónicas para maximizar la puntuación Inception de imágenes generadas. En todos los casos, PBT resulta en el descubrimiento automático de programas de hiperparámetros y selección de modelos que resultan en un entrenamiento estable y un mejor rendimiento final.