Mélange de sous-espaces dans l'adaptation à faible rang

Dans cet article, nous présentons une méthode d'adaptation à faible rang (LoRA) inspirée des sous-espaces, qui est efficace sur le plan informatique, facile à mettre en œuvre et applicable aux grands modèles de langage, multimodaux et de diffusion. Initialement, nous décomposons de manière équivalente les poids de LoRA en deux sous-espaces, et constatons que leur simple combinaison peut améliorer les performances. Pour étudier ce phénomène, nous le réexaminons à travers une analyse fine des sous-espaces, montrant que cette modification équivaut à l'emploi d'un mixeur fixe pour fusionner les sous-espaces. Pour plus de flexibilité, nous apprenons conjointement le mixeur avec les poids originaux de LoRA, et nommons cette méthode Mixture-of-Subspaces LoRA (MoSLoRA). MoSLoRA dépasse régulièrement LoRA sur des tâches de différentes modalités, incluant le raisonnement de bon sens, l'ajustement d'instructions visuelles et la génération de texte-à-image guidée par sujet, démontrant son efficacité et sa robustesse. Les codes sont disponibles à https://github.com/wutaiqiang/MoSLoRAgithub.