Erforschung der Grenzen des Transferlernens mit einem einheitlichen Text-zu-Text-Transformer

Transferlernen, bei dem ein Modell zunächst auf einer datenreichen Aufgabe vortrainiert und anschließend auf einer nachgelagerten Aufgabe feinabgestimmt wird, hat sich als mächtige Methode in der Verarbeitung natürlicher Sprache (NLP) etabliert. Die Effektivität des Transferlernens hat eine Vielfalt von Ansätzen und Methoden hervorgebracht. In diesem Artikel untersuchen wir die Landschaft des Transferlernens für NLP, indem wir einen einheitlichen Rahmen einführen, der alle sprachbasierten Probleme in ein Text-zu-Text-Format überführt. Unsere systematische Studie analysiert Vortrainingsziele, Architekturen, unlabeled Datensätze, Transfers und weitere Faktoren anhand dutzender Sprachverständnisaufgaben. Mit den Erkenntnissen unserer Forschung zum Einfluss der Skalierung und unserem neuen „Colossal Crawled Corpus“ erzielen wir auf vielen Benchmarks wie Zusammenfassung, Fragenbeantwortung, Textklassifikation und mehr den Stand der Technik. Für die zukünftige Forschung zum Transferlernen für NLP stellen wir unseren Datensatz, vortrainierte Modelle und den Code bereit.