Surmonter l'oubli catastrophique dans les réseaux neuronaux

La capacité d'apprendre des tâches de manière séquentielle est cruciale pour le développement de l'intelligence artificielle. Jusqu'à présent, les réseaux neuronaux n'ont pas été capables de cela et on a largement pensé que l'oubli catastrophique est une caractéristique inévitable des modèles connexionnistes. Nous montrons qu'il est possible de surmonter cette limite et de former des réseaux pouvant maintenir leur expertise sur des tâches qu'ils n'ont pas pratiquées depuis longtemps. Notre approche se souvient des anciennes tâches en ralentissant sélectivement l'apprentissage sur les poids importants pour ces tâches. Nous démontrons que notre méthode est évolutive et efficace en résolvant un ensemble de tâches de classification basées sur un jeu de données de chiffres manuscrits et en apprenant plusieurs jeux Atari 2600 de manière séquentielle.