Mecanismo de Atenção, Transformers, BERT e GPT: Tutorial e Revisão

Este é um artigo tutorial e de revisão sobre o mecanismo de atenção, transformers, BERT e GPT. Primeiro, explicamos o mecanismo de atenção, modelo sequência-para-sequência sem e com atenção, auto-atenção e atenção em diferentes áreas, como processamento de linguagem natural e visão computacional. Em seguida, explicamos transformers que não utilizam recorrência. Detalhamos todas as partes do codificador e decodificador no transformer, incluindo codificação posicional, auto-atenção multi-cabeça e atenção cruzada, além da atenção multi-cabeça mascarada. Após isso, apresentamos o Bidirectional Encoder Representations from Transformers (BERT) e o Generative Pre-trained Transformer (GPT) como pilhas de codificadores e decodificadores do transformer, respectivamente. Explicamos suas características e funcionamento.