Transformers : Interprétation statistique, architectures et applications

Les Transformers sont largement reconnus comme des outils puissants pour analyser plusieurs tâches grâce à leurs espaces d'attention multi-têtes à la pointe de la technologie, tels que le traitement automatique du langage naturel (NLP), la vision par ordinateur (CV) et la reconnaissance vocale (SR). Inspirés par leurs conceptions abondantes et leurs fonctions fortes dans l'analyse des données d'entrée, nous souhaitons commencer par les différentes architectures, poursuivre par l'étude de leur mécanisme statistique et de leur inférence, puis présenter leurs applications aux tâches dominantes. Les mécanismes statistiques sous-jacents suscitent notre intérêt et nous poussent à les étudier à un niveau supérieur ; cette revue se concentrera sur leurs fondations mathématiques puis utilisera ces principes pour tenter d'analyser les raisons de leurs excellentes performances dans de nombreux scénarios de reconnaissance.