Mistura de Especialistas LoRA

LoRA tem ganhado ampla aceitação no fine-tuning de grandes modelos pré-treinados para atender a uma ampla variedade de tarefas downstream, demonstrando eficácia e eficiência notáveis, consolidando assim sua posição como uma das técnicas de fine-tuning mais prevalentes. Devido à natureza modular dos plugins plug-and-play do LoRA, pesquisadores investigaram a combinação de múltiplos LoRAs para capacitar modelos a se destacarem em várias tarefas downstream. No entanto, as abordagens existentes para fusão de LoRA enfrentam desafios inerentes. A fusão aritmética direta pode resultar na perda das capacidades gerativas do modelo pré-treinado original ou da identidade distinta dos LoRAs, produzindo resultados subótimos. Por outro lado, a fusão baseada em fine-tuning de referência apresenta limitações quanto à flexibilidade requerida para a combinação efetiva de múltiplos LoRAs. Em resposta a esses desafios, este artigo introduz a abordagem Mistura de Especialistas LoRA (MoLE), que utiliza controle hierárquico e seleção irrestrita de ramificações. A abordagem MoLE não só alcança desempenho superior de fusão de LoRA em comparação à fusão aritmética direta, como também mantém a flexibilidade crucial para combinar LoRAs de forma eficaz. Avaliações experimentais extensas conduzidas tanto nos domínios de Processamento de Linguagem Natural (NLP) quanto de Visão e Linguagem (V&L) corroboram a eficácia do MoLE.