Low-Rank Adaptation (LoRA) é uma das técnicas mais amplamente utilizadas para o ajuste fino de grandes modelos de linguagem (LLMs). Ao introduzir um pequeno número de matrizes de peso treináveis de baixa classificação, LoRA reduz substancialmente o número de parâmetros que precisam ser atualizados, oferecendo vantagens significativas no consumo de memória e eficiência computacional em comparação com o ajuste fino completo. No entanto, observamos que LoRA não proporciona melhorias de velocidade de forma consistente em todas as arquiteturas de modelo e configurações de treinamento. Motivados por essa inconsistência, realizamos uma análise abrangente do desempenho do LoRA e investigamos os fatores subjacentes que limitam seu aumento de velocidade. Com base em nossas descobertas, propomos vários métodos para um ajuste fino mais eficiente dos LLMs. Avaliamos empiricamente esses métodos e os comparamos ao LoRA, demonstrando que nossa abordagem alcança desempenho comparável ou superior enquanto oferece melhorias mais consistentes na velocidade de treinamento. Nosso trabalho oferece insights valiosos e diretrizes práticas para profissionais que buscam otimizar o ajuste fino de LLMs sob restrições de recursos.
Building similarity graph...
Analyzing shared references across papers
Loading...
Seokmin Ko
Building similarity graph...
Analyzing shared references across papers
Loading...
Seokmin Ko (Sun,) estudou esta questão.
www.synapsesocial.com/papers/68de5d9383cbc991d0a200eb — DOI: https://doi.org/10.48550/arxiv.2507.08833
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: