Apprentissage de séquences complexes et étendues en utilisant le principe de compression de l'histoire

Les algorithmes d'apprentissage des réseaux neuronaux précédents pour le traitement des séquences sont coûteux en calcul et ont de mauvaises performances en présence de longs délais temporels. Cet article introduit d'abord un principe simple pour réduire les descriptions des séquences d'événements sans perte d'information. Une conséquence de ce principe est que seuls les entrées inattendues peuvent être pertinentes. Cette compréhension conduit à la construction d'architectures neuronales qui apprennent à « diviser pour mieux régner » en décomposant récursivement les séquences. Je décris deux architectures. La première fonctionne comme une hiérarchie multilevel auto-organisée de réseaux récurrents. La seconde, impliquant seulement deux réseaux récurrents, essaie de fusionner une hiérarchie de prédicteurs multilevel en un seul réseau récurrent. Les expériences montrent que le système peut nécessiter moins de calcul par pas temporel et beaucoup moins de séquences d'entraînement que les algorithmes d'entraînement conventionnels pour réseaux récurrents.