Die Grenzen des Transferlernens mit einem einheitlichen Text-zu-Text-Transformer erkunden

Transferlernen, bei dem ein Modell zuerst auf einer datenreichen Aufgabe vortrainiert wird, bevor es auf einer nachgelagerten Aufgabe feinabgestimmt wird, hat sich als leistungsstarke Technik in der natürlichen Sprachverarbeitung (NLP) etabliert. Die Effektivität des Transferlernens hat zu einer Vielfalt von Ansätzen, Methoden und Praktiken geführt. In diesem Papier untersuchen wir die Landschaft der Transferlerntechniken für NLP, indem wir einen einheitlichen Rahmen vorstellen, der alle textbasierten Sprachprobleme in ein Text-zu-Text-Format überführt. Unsere systematische Studie vergleicht Vortrainingsziele, Architekturen, unbeschriftete Datensätze, Transferansätze und andere Faktoren bei dutzenden von Aufgaben zum Sprachverständnis. Durch die Kombination der Erkenntnisse unserer Untersuchung mit Skalierung und unserem neuen „Colossal Clean Crawled Corpus“ erzielen wir state-of-the-art Ergebnisse in vielen Benchmarks, die Zusammenfassung, Fragebeantwortung, Textklassifikation und mehr abdecken. Um zukünftige Arbeiten zum Transferlernen für NLP zu erleichtern, veröffentlichen wir unseren Datensatz, vortrainierte Modelle und den Code.