Explorer les limites de l'apprentissage par transfert avec un transformeur unifié texte-à-texte

L'apprentissage par transfert, où un modèle est d'abord pré-entraîné sur une tâche riche en données avant d'être affiné sur une tâche en aval, est devenu une technique puissante en traitement du langage naturel (NLP). L'efficacité du transfert a donné lieu à une diversité d'approches, de méthodologies et de pratiques. Dans cet article, nous explorons le paysage de l'apprentissage par transfert pour le NLP en introduisant un cadre unifié qui convertit tous les problèmes basés sur le langage en un format texte-à-texte. Notre étude systématique porte sur les objectifs de pré-entraînement, les architectures, les ensembles de données non étiquetées, le transfert et d'autres facteurs sur des dizaines de tâches de compréhension linguistique. Grâce aux insights de notre exploration à grande échelle et à notre nouveau « Colossal Crawled Corpus », nous atteignons des résultats à la pointe de l'état de l'art sur de nombreux benchmarks de résumé, de question-réponse, de classification de texte, et plus encore. Pour favoriser les travaux futurs sur l'apprentissage par transfert en NLP, nous publions notre ensemble de données, nos modèles pré-entraînés et notre code.