LoraRetriever: Recuperación y Composición LoRA Consciente de la Entrada para Tareas Mixtas en Entornos Reales

Low-Rank Adaptation (LoRA) ofrece una solución efectiva y eficiente para el ajuste fino de modelos de lenguaje grandes (LLM). La naturaleza modular y plug-and-play de LoRA permite la integración de diversas LoRAs específicas de dominio para mejorar las capacidades de los LLM. Investigaciones previas sobre la explotación de múltiples LoRAs se centran ya sea en tareas específicas aisladas o fijan la selección de LoRAs durante el entrenamiento. Sin embargo, en escenarios del mundo real, los LLM reciben indicaciones diversas que cubren diferentes tareas, y el conjunto de LoRAs candidatos suele actualizarse dinámicamente. Para cerrar esta brecha, proponemos LoraRetriever, un marco de recuperar y luego componer que recupera y compone adaptativamente múltiples LoRAs según las indicaciones de entrada. LoraRetriever contiene tres componentes principales: primero, identificar y recuperar LoRAs relevantes para la entrada dada; segundo, formular estrategias para integrar eficazmente las LoRAs recuperadas; y tercero, desarrollar inferencia por lotes eficiente para acomodar solicitudes heterogéneas. Los resultados experimentales indican que LoraRetriever supera consistentemente a los puntos de referencia, resaltando su efectividad práctica y versatilidad.