Predictores de kernel adaptativos de los límites infinitos de aprendizaje de características de redes neuronales

Trabajos previos influyentes mostraron que los límites de ancho infinito de las redes neuronales en el régimen de entrenamiento perezoso se describen mediante máquinas de kernel. Aquí, mostramos que las redes neuronales entrenadas en el rico régimen de aprendizaje de características de ancho infinito en dos configuraciones diferentes también se describen mediante máquinas de kernel, pero con kernels dependientes de datos. Para ambos casos, proporcionamos expresiones explícitas para los predictores de kernel y prescripciones para calcularlos numéricamente. Para derivar el primer predictor, estudiamos el límite de gran ancho de redes bayesianas de aprendizaje de características, mostrando cómo el aprendizaje de características conduce a la adaptación relevante para la tarea de los kernels de capa y las densidades de preactivación. Las ecuaciones del punto de silla que rigen este límite resultan en un problema de optimización min-max que define el predictor de kernel. Para derivar el segundo predictor, estudiamos el entrenamiento por flujo de gradiente de redes inicializadas aleatoriamente entrenadas con decaimiento de peso en el límite de ancho infinito utilizando la teoría de campo medio dinámica (DMFT). Las ecuaciones del punto fijo de la DMFT que surge definen las representaciones internas adaptadas a la tarea y el predictor de kernel. Comparamos nuestros predictores de kernel con kernels derivados del régimen perezoso y demostramos que nuestros kernels adaptativos logran una menor pérdida de prueba en conjuntos de datos de referencia.