Adapter-X: Ein neuartiges allgemein parameter-effizientes Fine-Tuning-Rahmenwerk für Vision

Parameter-effizientes Fine-Tuning (PEFT) gewinnt zunehmend an Bedeutung, da Foundation-Modelle sowohl an Popularität als auch an Größe stetig zunehmen. Adapter sind besonders gut aufgenommen worden, da sie das Potenzial zur Parameterreduktion und Anpassungsfähigkeit über verschiedene Aufgaben hinweg bieten. Dennoch bleibt es eine Herausforderung, bei adapter-basierten Methoden ein Gleichgewicht zwischen hoher Effizienz und robuster Generalisierung über Aufgaben hinweg zu finden. Wir analysieren bestehende Methoden und stellen fest: 1) Parametersharing ist der Schlüssel zur Reduzierung von Redundanzen; 2) mehr abstimmbare Parameter, dynamische Allokation und block-spezifisches Design sind entscheidend zur Leistungsverbesserung. Leider berücksichtigt keine bisherige Arbeit all diese Faktoren. Inspiriert von dieser Erkenntnis stellen wir ein neuartiges Rahmenwerk namens Adapter-X vor. Erstens wird ein Sharing Mixture of Adapters (SMoA)-Modul vorgeschlagen, das gleichzeitig token-spezifische dynamische Allokation, erhöhte abstimmbare Parameter und inter-block Sharing ermöglicht. Zweitens werden einige block-spezifische Designs wie der Prompt Generator (PG) eingeführt, um die Anpassungsfähigkeit weiter zu verbessern. Umfangreiche Experimente in 2D-Bild- und 3D-Punktwolkenmodalitäten zeigen, dass Adapter-X einen bedeutenden Meilenstein darstellt, da es als erstes sowohl in 2D-Bild- als auch in 3D-Punktwolkenmodalitäten die volle Feinabstimmung mit signifikant weniger Parametern übertrifft, nämlich nur 0,20 % bzw. 1,88 % der ursprünglichen abstimmbaren Parameter für 2D- und 3D-Klassifikationsaufgaben. Unser Code wird öffentlich verfügbar sein.