Explorando los Límites del Aprendizaje por Transferencia con un Transformador Unificado de Texto a Texto

El aprendizaje por transferencia, donde un modelo es primero preentrenado en una tarea con abundancia de datos y luego ajustado para una tarea descendente, ha surgido como una herramienta poderosa en el procesamiento del lenguaje natural (NLP). La efectividad del aprendizaje por transferencia ha dado lugar a una diversidad de enfoques, metodologías y. En este artículo, exploramos el panorama del aprendizaje por transferencia para NLP introduciendo un marco unificado que convierte todos los problemas basados en idiomas en un formato de texto a texto. Nuestro estudio sistemático analiza objetivos de preentrenamiento, arquitecturas, conjuntos de datos no etiquetados, transferencia y otros factores en docenas de tareas de comprensión del lenguaje. Basándonos en las ideas obtenidas de nuestra exploración con escala y nuestro nuevo "Colossal Crawled Corpus", logramos resultados de estado del arte en numerosos benchmarks para resumen, respuesta a preguntas, clasificación de texto y más. Para apoyar el trabajo futuro sobre aprendizaje por transferencia para NLP, lanzamos nuestro conjunto de datos, modelos preentrenados y código.