Explorando os Limites do Transfer Learning com um Transformer Unificado de Texto para Texto

Transfer learning, onde um modelo é primeiro pré-treinado em uma tarefa rica em dados antes de ser refinado em uma tarefa subsequente, emergiu como uma técnica poderosa em processamento de linguagem natural (NLP). A efetividade do transfer learning deu origem a uma diversidade de abordagens, metodologias e práticas. Neste artigo, exploramos o panorama das técnicas de transfer learning para NLP ao introduzir uma estrutura unificada que converte todos os problemas linguísticos baseados em texto em um formato de texto para texto. Nosso estudo sistemático compara objetivos de pré-treinamento, arquiteturas, conjuntos de dados não rotulados, abordagens de transferência e outros fatores em dezenas de tarefas de compreensão de linguagem. Combinando os insights de nossa exploração com escala e nosso novo "Colossal Clean Crawled Corpus", alcançamos resultados de ponta em muitos benchmarks que cobrem sumarização, resposta a perguntas, classificação de texto e mais. Para facilitar trabalhos futuros sobre transfer learning para NLP, liberamos nosso conjunto de dados, modelos pré-treinados e código.