LoRA É Mais Lento Do Que Você Pensa

Low-Rank Adaptation (LoRA) é uma das técnicas mais amplamente utilizadas para o ajuste fino de grandes modelos de linguagem (LLMs). Ao introduzir um pequeno número de matrizes de peso treináveis de baixa classificação, LoRA reduz substancialmente o número de parâmetros que precisam ser atualizados, oferecendo vantagens significativas no consumo de memória e eficiência computacional em comparação com o ajuste fino completo. No entanto, observamos que LoRA não proporciona melhorias de velocidade de forma consistente em todas as arquiteturas de modelo e configurações de treinamento. Motivados por essa inconsistência, realizamos uma análise abrangente do desempenho do LoRA e investigamos os fatores subjacentes que limitam seu aumento de velocidade. Com base em nossas descobertas, propomos vários métodos para um ajuste fino mais eficiente dos LLMs. Avaliamos empiricamente esses métodos e os comparamos ao LoRA, demonstrando que nossa abordagem alcança desempenho comparável ou superior enquanto oferece melhorias mais consistentes na velocidade de treinamento. Nosso trabalho oferece insights valiosos e diretrizes práticas para profissionais que buscam otimizar o ajuste fino de LLMs sob restrições de recursos.