ResLoRA: Mapeo Residual de Identidad en Adaptación de Bajo Rango

Como uno de los métodos de ajuste fino eficiente en parámetros (PEFT) más populares, la adaptación de bajo rango (LoRA) se aplica comúnmente para ajustar grandes modelos de lenguaje (LLMs). Sin embargo, actualizar los pesos de los bloques LoRA de manera efectiva y rápida es un desafío debido a la larga ruta de cálculo en el modelo original. Para abordar esto, proponemos ResLoRA, un marco mejorado de LoRA. Al añadir caminos residuales durante el entrenamiento y usar enfoques de fusión para eliminar estos caminos adicionales durante la inferencia, nuestro método puede lograr mejores resultados en menos pasos de entrenamiento sin parámetros entrenables adicionales ni costo de inferencia extra en comparación con LoRA. Los experimentos en tareas de NLG, NLU y texto a imagen demuestran la efectividad de nuestro método. Según nuestro conocimiento, ResLoRA es el primer trabajo que combina el camino residual con LoRA. El código de nuestro método está disponible en https://github.com/microsoft/LMOps/tree/main/reslora.