Avaliação do Aprendizado por Transferência e Adaptabilidade em Grandes Modelos de Linguagem com o Benchmark GLUE

Este artigo apresenta uma investigação abrangente sobre a adaptabilidade dos modelos de linguagem (LMs) de última geração a diversos domínios por meio de técnicas de aprendizado por transferência, avaliadas usando o benchmark General Language Understanding Evaluation (GLUE). Nosso estudo examina sistematicamente a eficácia de várias estratégias de aprendizado por transferência, incluindo fine-tuning e aumento de dados, no aprimoramento do desempenho de LMs selecionados ao longo do espectro de tarefas do GLUE. Os resultados revelam melhorias significativas na adaptabilidade a domínios, embora o grau de eficácia varie entre os modelos, destacando a influência da arquitetura do modelo e da profundidade do pré-treinamento. A análise oferece insights sobre as complexidades do aprendizado por transferência, sugerindo uma compreensão detalhada de sua aplicação para desempenho ótimo do modelo. O estudo contribui para o debate sobre o potencial e as limitações dos LMs atuais em generalizar o conhecimento aprendido para novos domínios, ressaltando a necessidade de frameworks mais sofisticados de aprendizado por transferência, benchmarks de avaliação diversificados e abrangentes, e direções futuras de pesquisa voltadas para melhorar a adaptabilidade e inclusão dos modelos no processamento de linguagem natural.