Uma Abordagem Eficiente em Recursos para Ajuste Fino de um Modelo BERT-Base para Análise de Sentimento

Ajustar finamente um modelo BERT-Base para tarefas específicas, como análise de sentimento, tornou-se intensivo em recursos e frequentemente requer alto poder computacional e memória. Este artigo introduz o SCALE, um novo método de ajuste fino eficiente em recursos que visa as camadas de transformador mais críticas, reduzindo os custos computacionais sem sacrificar o desempenho. Ao perfilá-las dinamicamente por meio de magnitudes de ativação e entropia de atenção, o SCALE seleciona e adapta apenas as camadas mais influentes com módulos adaptadores leves. O método proposto supera as técnicas tradicionais de ajuste fino, alcançando uma melhoria de 2,3% na precisão no conjunto de dados IMDB e reduzindo o tempo de treinamento em 56,3% em comparação com o ajuste fino de modelo completo. Experimentos em vários benchmarks de análise de sentimento demonstram a eficácia do SCALE em otimizar o ajuste fino para o modelo BERT-base em ambientes com recursos limitados, alcançando até 99% do desempenho do ajuste fino de modelo completo enquanto usa apenas 40% dos parâmetros. A validação empírica deste estudo é restrita à classificação de sentimento binário e multiclasse. A avaliação reflete especificamente a eficácia em tarefas de classificação de texto de análise de sentimento.