Adaptación de Bajo Rango para Pocas Muestras de Modelos Visión-Lenguaje

El progreso reciente en la adaptación de pocas muestras de Modelos Visión-Lenguaje (VLMs) ha impulsado aún más sus capacidades de generalización, a costa de solo unas pocas muestras etiquetadas dentro de la tarea descendente objetivo. Sin embargo, esta prometedora y ya bastante abundante literatura sobre pocas muestras se ha centrado principalmente en el aprendizaje mediante prompts y, en menor medida, en adaptadores, pasando por alto los avances recientes en el Afinado de Parámetros Eficiente (PEFT). Además, los métodos existentes de aprendizaje con pocas muestras para VLMs suelen depender de procedimientos de entrenamiento extensos y/o hiperparámetros específicos de la tarea cuidadosamente seleccionados, lo que podría obstaculizar su aplicabilidad. En respuesta, introducimos la Adaptación de Bajo Rango (LoRA) en el aprendizaje con pocas muestras para VLMs, y mostramos su potencial en 11 conjuntos de datos, en comparación con los enfoques actuales de punta basados en prompts y adaptadores. Sorprendentemente, nuestro simple método CLIP-LoRA presenta mejoras sustanciales, mientras reduce los tiempos de entrenamiento y mantiene los mismos hiperparámetros en todas las tareas objetivo, es decir, en todos los conjuntos de datos y números de muestras. Ciertamente, nuestros sorprendentes resultados no descartan el potencial de la investigación basada en aprendizaje por prompts y adaptadores. Sin embargo, creemos que nuestra sólida línea base podría usarse para evaluar el progreso en estos temas emergentes en VLMs con pocas muestras.