Un algorithme d'apprentissage rapide pour les réseaux de croyance profonde

Nous montrons comment utiliser des « priors complémentaires » pour éliminer les effets d'explication mutuelle qui rendent l'inférence difficile dans les réseaux de croyance fortement connectés possédant de nombreuses couches cachées. En utilisant des priors complémentaires, nous dérivons un algorithme rapide et glouton capable d'apprendre des réseaux de croyance profonds et dirigés, une couche à la fois, à condition que les deux couches supérieures forment une mémoire associative non dirigée. Cet algorithme rapide et glouton sert à initialiser une procédure d'apprentissage plus lente qui affine les poids en utilisant une version contrastive de l'algorithme wake-sleep. Après cet affinage, un réseau avec trois couches cachées constitue un très bon modèle génératif de la distribution conjointe des images de chiffres manuscrits et de leurs étiquettes. Ce modèle génératif offre une meilleure classification des chiffres que les meilleurs algorithmes d'apprentissage discriminants. Les variétés de faible dimension sur lesquelles reposent les chiffres sont modélisées par de longues ravines dans le paysage de l'énergie libre de la mémoire associative de niveau supérieur, et il est facile d'explorer ces ravines en utilisant les connexions dirigées pour afficher ce que la mémoire associative a en tête.