Transformers: Statistische Interpretation, Architekturen und Anwendungen

Transformers werden weithin als leistungsstarke Werkzeuge zur Analyse multipler Aufgaben anerkannt, dank ihrer hochmodernen Multi-Head-Attention-Räume, beispielsweise in der natürlichen Sprachverarbeitung (NLP), Computer Vision (CV) und Spracherkennung (SR). Inspiriert von ihren vielfältigen Designs und starken Funktionen bei der Analyse von Eingabedaten, möchten wir mit den verschiedenen Architekturen beginnen, anschließend die Untersuchung ihres statistischen Mechanismus und der Inferenz vornehmen und schließlich ihre Anwendungen bei dominanten Aufgaben vorstellen. Die zugrunde liegenden statistischen Mechanismen wecken unser Interesse und verleiten uns dazu, sie auf einer höheren Ebene zu erforschen. Diese Übersicht konzentriert sich daher auf die mathematischen Grundlagen und nutzt diese Prinzipien, um die Gründe für ihre hervorragende Leistung in vielen Erkennungsszenarien zu analysieren.