Explorando uma Nova Arquitetura para Ajuste Fino Eficiente de Parâmetros em Cenários de Multitarefas com SLoRA

Propomos uma arquitetura MoE (mixed expert) LoRA (Low-Rank Adaptation) aprimorada, denominada SLoRA (Arquitetura MoE LoRA Aprimorada), destinada a resolver o problema principal do ajuste fino eficiente de parâmetros em cenários multitarefa. Dado o alto custo do ajuste fino completo tradicional conforme o tamanho dos parâmetros dos modelos visuais de linguagem aumenta, e as limitações do LoRA como um método PEFT (parameter-efficient fine-tuning) popular em multitarefas, tais como adaptabilidade inadequada e dificuldade em capturar padrões complexos de tarefas, bem como os desafios de esquecimento catastrófico e fragmentação do conhecimento enfrentados pelas pesquisas existentes sobre a integração de mecanismos MoE em LoRA, o SLoRA utiliza otimização com restrição ortogonal para reduzir a perturbação ao conhecimento existente por meio da inicialização do espaço de solução das restrições, aliviando o esquecimento catastrófico (taxa de retenção da acurácia em tarefas antigas alcança 92,4%, 16,1% maior que LoRA), e uma estrutura MoE otimizada que inclui especialistas gerais (retendo conhecimento pré-treinado) e especialistas específicos de tarefas (adaptando dinamicamente as tarefas por roteamento) para melhorar a adaptabilidade multitarefa. Resultados experimentais mostram que em tarefas de raciocínio de senso comum, a acurácia do SLoRA é 9,0% maior que LoRA e 3,7% maior que AdaLoRA no conjunto de dados WSC, e seu escore F1 é 7,7% maior que LoRA e 2,9% maior que AdaLoRA no conjunto CommonsenseQA; em tarefas multimodais, sua pontuação média é até 15,3% maior que LoRA, demonstrando vantagens significativas sobre métodos existentes.