Multimodales Instruction Tuning mit Conditional Mixture of LoRA

Multimodale Large Language Models (MLLMs) zeigen eine bemerkenswerte Kompetenz in vielfältigen Aufgaben über verschiedene Domänen hinweg, wobei der Fokus zunehmend darauf liegt, ihre Zero-Shot-Generaliserungsfähigkeit für unbekannte multimodale Aufgaben zu verbessern. Multimodales Instruction Tuning hat sich als erfolgreiche Strategie herauskristallisiert, um Zero-Shot-Generalisation zu erreichen, indem vortrainierte Modelle durch Anweisungen auf diverse multimodale Aufgaben feinabgestimmt werden. Mit zunehmender Komplexität und Größe der MLLMs wird der Bedarf an parameter-effizienten Feinabstimmungsverfahren wie Low-Rank Adaptation (LoRA), die mit einer minimalen Parameteranzahl feinjustiert, immer essenzieller. Die Anwendung von LoRA im multimodalen Instruction Tuning stellt jedoch die Herausforderung der Aufgabeninterferenz dar, die besonders bei einer breiten Palette multimodaler Aufgaben zu Leistungsabfall führt. Um dem zu begegnen, stellt dieses Papier einen neuartigen Ansatz vor, der multimodales Instruction Tuning mit Conditional Mixture-of-LoRA (MixLoRA) kombiniert. Dieser erweitert LoRA durch die dynamische Konstruktion von Low-Rank-Adaptationsmatrizen, die speziell auf die einzigartigen Anforderungen jeder Eingabeinstanz zugeschnitten sind, mit dem Ziel, Aufgabeninterferenz zu reduzieren. Experimentelle Ergebnisse auf verschiedenen multimodalen Evaluationsdatensätzen zeigen, dass MixLoRA nicht nur die konventionelle LoRA mit gleichen oder sogar höheren Rängen übertrifft, sondern auch seine Wirksamkeit und Anpassungsfähigkeit in vielfältigen multimodalen Aufgaben demonstriert.