Modelos de lenguaje para la clasificación de texto: ¿es suficiente el aprendizaje en contexto?

Recientes modelos de lenguaje fundamentales han mostrado un rendimiento de última generación en muchas tareas de PLN en configuraciones de cero y pocos ejemplos. Una ventaja de estos modelos sobre los enfoques más estándar basados en ajuste fino es la capacidad para entender instrucciones escritas en lenguaje natural (prompts), lo que les ayuda a generalizar mejor a diferentes tareas y dominios sin la necesidad de datos de entrenamiento específicos. Esto los hace adecuados para abordar problemas de clasificación de texto en dominios con cantidades limitadas de instancias anotadas. Sin embargo, la investigación existente es limitada en escala y carece de comprensión sobre cómo los modelos de generación de texto combinados con técnicas de prompting se comparan con métodos más establecidos para la clasificación de texto, como el ajuste fino de modelos de lenguaje enmascarados. En este trabajo, abordamos esta brecha mediante un estudio de evaluación a gran escala con 16 conjuntos de datos de clasificación de texto que cubren problemas binarios, multiclase y multilabel. En particular, comparamos los enfoques de cero y pocos ejemplos de grandes modelos de lenguaje con el ajuste fino de modelos de lenguaje más pequeños. También analizamos los resultados por prompt, tipo de clasificación, dominio y número de etiquetas. En general, los resultados muestran cómo el ajuste fino de modelos de lenguaje más pequeños y eficientes aún puede superar los enfoques de pocos ejemplos de modelos de lenguaje más grandes, los cuales tienen espacio para mejorar en lo que respecta a la clasificación de texto.