Transformers Revisitados: Arquitectura, Atención y Limitaciones

Los Transformers son ahora la arquitectura dominante en la inteligencia artificial moderna. Introducidos en 2017 por Vaswani et al. en el contexto del procesamiento de lenguaje natural, han revolucionado sinceramente la visión por computadora, la generación de música, la bioinformática y muchos otros campos. Este artículo presenta un análisis progresivo y conceptual de su arquitectura desde el mecanismo de atención hasta los codificadores posicionales modernos (RoPE, ALiBi), junto con métodos avanzados de entrenamiento (RLHF, instruction tuning) y optimizaciones recientes (FlashAttention, sparse attention). También se examinan las limitaciones fundamentales y las alternativas emergentes (modelos de espacio de estados, Mamba) para ofrecer una imagen completa y actualizada del panorama del modelado de secuencias.