Un análisis conciso de la adaptación de bajo rango

En los últimos años, los modelos de lenguaje preentrenados han demostrado ser una tecnología transformadora en el ámbito del Procesamiento del Lenguaje Natural (PLN). Desde las primeras incrustaciones de palabras hasta las modernas arquitecturas basadas en transformadores, el éxito de modelos como BERT, GPT-3 y sus variantes ha llevado a avances notables en diversas tareas de PLN. Este artículo se basa en el modelo Transformer y explora y resume la aplicación de la técnica de afinación ligera LoRA en modelos de lenguaje preentrenados, así como las mejoras y tecnologías derivadas basadas en LoRA. Además, este artículo clasifica estas técnicas en dos direcciones principales según los avances: mejorar la eficiencia del entrenamiento y mejorar el rendimiento del entrenamiento. Bajo estas dos direcciones principales, se resumen y analizan varias técnicas representativas de optimización y derivadas. Más aún, este artículo ofrece una perspectiva sobre los temas candentes y las perspectivas futuras de este tema de investigación, y resume y propone varias direcciones que tienen valor de exploración para el futuro, como las posibles vías para una mayor optimización e integración con otras tecnologías ligeras.