LoRA-SP: adaptación parcial simplificada de parámetros para un ajuste fino eficiente en recursos de grandes modelos de lenguaje

Para abordar las demandas computacionales y de memoria del ajuste fino de Grandes Modelos de Lenguaje (LLMs), proponemos LoRA-SP (Adaptación Parcial de Parámetros Simplificada), un enfoque novedoso que utiliza congelación aleatoria y semi-selectiva de parámetros dentro del marco de Adaptación de Bajo Rango (LoRA). Este método equilibra eficientemente la retención del conocimiento preentrenado y la adaptabilidad para optimizaciones específicas de tareas. A través de un mecanismo aleatorio, LoRA-SP determina qué parámetros actualizar o congelar, reduciendo significativamente los requerimientos computacionales y de memoria sin comprometer el rendimiento del modelo. Evaluamos LoRA-SP en varias tareas de referencia de PLN, demostrando su capacidad para lograr un rendimiento competitivo con un consumo de recursos sustancialmente menor en comparación con el ajuste fino tradicional de parámetros completos y otras técnicas eficientes en parámetros. El enfoque innovador de LoRA-SP no solo facilita el despliegue de modelos avanzados de PLN en entornos con recursos limitados, sino que también abre nuevas vías de investigación en estrategias efectivas y eficientes para la adaptación de modelos.