Mélange d'experts LoRA

LoRA a gagné une large acceptation dans l'adaptation fine des grands modèles pré-entraînés pour répondre à une diversité de tâches en aval, démontrant une efficacité et une efficience notables, consolidant ainsi sa position comme l'une des techniques d'adaptation fine les plus répandues. En raison de la nature modulaire des plugins LoRA plug-and-play, les chercheurs ont exploré la fusion de multiples LoRAs pour permettre aux modèles d'exceller dans diverses tâches en aval. Néanmoins, les approches existantes de fusion LoRA rencontrent des défis inhérents. La fusion arithmétique directe peut entraîner la perte des capacités génératives du modèle pré-entraîné original ou de l'identité distincte des LoRAs, produisant ainsi des résultats sous-optimaux. En revanche, la fusion basée sur le réglage par référence présente des limites quant à la flexibilité requise pour la combinaison efficace de plusieurs LoRAs. En réponse à ces défis, cet article présente l'approche Mixture of LoRA Experts (MoLE), qui exploite un contrôle hiérarchique et une sélection libre des branches. L'approche MoLE atteint non seulement une performance supérieure de fusion des LoRAs comparée à la fusion arithmétique directe, mais conserve également la flexibilité cruciale pour combiner efficacement les LoRAs. De nombreuses évaluations expérimentales menées à la fois dans les domaines du traitement du langage naturel (NLP) et de la vision et du langage (V&L) confirment l'efficacité de MoLE.