Apprentissage par gradient appliqué à la reconnaissance de documents

Les réseaux de neurones multicouches entraînés avec l'algorithme de rétropropagation constituent le meilleur exemple d'une technique d'apprentissage basée sur le gradient réussie. Avec une architecture de réseau appropriée, les algorithmes d'apprentissage par gradient peuvent synthétiser une surface de décision complexe capable de classifier des motifs à haute dimensionnalité, tels que les caractères manuscrits, avec un prétraitement minimal. Cet article passe en revue diverses méthodes appliquées à la reconnaissance des caractères manuscrits et les compare sur une tâche standard de reconnaissance de chiffres manuscrits. Les réseaux de neurones convolutionnels, spécialement conçus pour gérer la variabilité des formes 2D, démontrent une supériorité sur toutes les autres techniques. Les systèmes de reconnaissance documentaire en conditions réelles sont composés de modules multiples incluant l'extraction des champs, la segmentation, la reconnaissance et la modélisation du langage. Un nouveau paradigme d’apprentissage, appelé graph transformer networks (GTN), permet à ces systèmes multimodules d’être entraînés globalement en utilisant des méthodes basées sur le gradient afin de minimiser une mesure globale de performance. Deux systèmes de reconnaissance d’écriture manuscrite en ligne sont décrits. Les expériences montrent l’avantage de l’entraînement global et la flexibilité des graph transformer networks. Un graph transformer network pour la lecture d’un chèque bancaire est également présenté. Il utilise des reconnaisseurs de caractères basés sur des réseaux de neurones convolutionnels combinés à des techniques d’entraînement global pour fournir une précision record sur les chèques commerciaux et personnels. Il est déployé commercialement et traite plusieurs millions de chèques par jour.