LoRA Localizado: Uma Aproximação de Baixa Dimensão Estruturada para Ajuste Fino Eficiente

Métodos de ajuste fino eficientes em parâmetros (PEFT), como LoRA, oferecem alternativas compactas e eficazes ao ajuste fino do modelo completo ao introduzir atualizações de baixa dimensão nas ponderações pré-treinadas. No entanto, a maioria das abordagens existentes baseia-se em estruturas globais de baixa dimensão, que podem negligenciar padrões espaciais distribuídos no espaço dos parâmetros. Neste trabalho, propomos o LoRA Localizado, um quadro generalizado que modela atualizações de pesos como uma composição de matrizes de baixa dimensão aplicadas a blocos estruturados da matriz de pesos. Essa formulação permite atualizações densas e localizadas em todo o espaço de parâmetros sem aumentar o número total de parâmetros treináveis. Fornecemos uma comparação formal entre aproximações globais, locais diagonais e totalmente localizadas de baixa dimensão, e mostramos que nosso método consistentemente alcança menor erro de aproximação sob orçamentos de parâmetros equivalentes. Experimentos em cenários sintéticos e práticos demonstram que o LoRA Localizado oferece uma alternativa mais expressiva e adaptável aos métodos existentes, possibilitando ajuste fino eficiente com desempenho melhorado.