Transformers: Interpretación estadística, arquitecturas y aplicaciones

Los transformers han sido ampliamente reconocidos como herramientas poderosas para analizar múltiples tareas debido a sus espacios de atención multi-cabeza de última generación, tales como el Procesamiento de Lenguaje Natural (PLN), Visión por Computadora (VC) y Reconocimiento de Voz (RV). Inspirados por sus abundantes diseños y fuertes funciones para analizar datos de entrada, nos gustaría comenzar desde las diversas arquitecturas, continuar con la investigación sobre su mecanismo estadístico e inferencia y luego introducir sus aplicaciones en tareas dominantes. Los mecanismos estadísticos subyacentes despiertan nuestro interés y nos intrigan para investigarlos a un nivel superior; esta revisión se centrará en sus fundamentos matemáticos y luego utilizará los principios para tratar de analizar las razones de su excelente rendimiento en muchos escenarios de reconocimiento.