Modelos de Linguagem para Classificação de Texto: Aprendizado no Contexto é Suficiente?

Modelos de linguagem fundamentais recentes mostraram desempenho de ponta em muitas tarefas de PLN em configurações zero- e few-shot. Uma vantagem desses modelos sobre abordagens mais tradicionais baseadas em fine-tuning é a capacidade de entender instruções escritas em linguagem natural (prompts), o que os ajuda a generalizar melhor para diferentes tarefas e domínios sem a necessidade de dados de treinamento específicos. Isso os torna adequados para abordar problemas de classificação de texto em domínios com quantidades limitadas de instâncias anotadas. No entanto, pesquisas existentes são limitadas em escala e carecem de entendimento sobre como modelos de geração de texto combinados com técnicas de prompting se comparam a métodos mais estabelecidos para classificação de texto, como o fine-tuning de modelos de linguagem mascarada. Neste artigo, abordamos essa lacuna realizando um estudo de avaliação em grande escala com 16 conjuntos de dados de classificação de texto cobrindo problemas binários, multiclasse e multilabel. Em particular, comparamos abordagens zero- e few-shot de grandes modelos de linguagem com o fine-tuning de modelos de linguagem menores. Também analisamos os resultados por prompt, tipo de classificação, domínio e número de rótulos. Em geral, os resultados mostram como o fine-tuning de modelos de linguagem menores e mais eficientes ainda pode superar abordagens few-shot de modelos de linguagem maiores, os quais têm espaço para melhorias quando se trata de classificação de texto.