LoRA-XS: Adaptación de Bajo Rango con un Número Extremadamente Pequeño de Parámetros

La reciente tendencia en la ampliación de modelos de lenguaje ha generado una creciente demanda de métodos de ajuste eficiente en parámetros (PEFT), como LoRA (Adaptación de Bajo Rango). LoRA iguala o supera consistentemente la línea base de ajuste completo con menos parámetros. Sin embargo, manejar numerosos módulos LoRA específicos para tareas o usuarios sobre un modelo base sigue presentando desafíos significativos de almacenamiento. Para abordar esto, presentamos LoRA-XS (Adaptación de Bajo Rango con Número eXtremadamente Pequeño de parámetros), un enfoque novedoso que utiliza la Descomposición en Valores Singulares (SVD) para un ajuste eficiente en parámetros. LoRA-XS introduce una pequeña matriz de pesos r x r entre matrices LoRA congeladas, las cuales se construyen mediante SVD de la matriz de pesos original. Entrenar solo matrices de pesos r x r asegura independencia de las dimensiones del modelo, permitiendo un ajuste más eficiente en parámetros, especialmente para modelos más grandes. LoRA-XS logra una reducción notable de parámetros entrenables de más de 100 veces en modelos 7B en comparación con LoRA. Nuestro benchmarking a través de varias escalas, incluyendo GLUE, GSM8k y MATH, muestra que nuestro enfoque supera a LoRA y a enfoques recientes de última generación como VeRA en términos de eficiencia paramétrica, manteniendo un rendimiento competitivo.