探索统一文本到文本转换器的迁移学习极限

迁移学习指的是模型首先在数据丰富的任务上进行预训练，随后在下游任务中微调，这已成为自然语言处理（NLP）中一种强大的技术。迁移学习的有效性催生了多样化的方法论、方法和实践。在本文中，我们通过引入一个统一框架，将所有基于文本的语言问题转换为文本到文本格式，探讨了NLP迁移学习技术的全景。我们的系统性研究比较了预训练目标、架构、无标签数据集、迁移方法以及数十个语言理解任务中的其他因素。结合研究洞见、规模以及我们的新数据集“Colossal Clean Crawled Corpus”，我们在涵盖摘要、问答、文本分类等多个基准测试中达到了最新最佳结果。为促进未来NLP迁移学习的研究工作，我们发布了数据集、预训练模型和代码。