LoRA²: Mehrskalige Niedrigrang-Approximationen zur Feinabstimmung großer Sprachmodelle

Die Feinabstimmung großer Sprachmodelle (LLMs) mit hoher Parametereffizienz für nachgelagerte Aufgaben hat sich zu einem neuen Paradigma entwickelt. Low-Rank Adaptation (LoRA) reduziert die Anzahl der trainierbaren Parameter für die Feinabstimmung erheblich. Obwohl es eine beachtliche Leistung gezeigt hat, ist die Aktualisierung der Parameter auf einer einzigen Skala möglicherweise nicht die optimale Wahl für komplexe nachgelagerte Aufgaben. In diesem Artikel erweitern wir LoRA auf mehrere Skalen, genannt LoRA². Wir kombinieren zunächst die Orthogonalprojektionstheorie, um eine Reihe von LoRAs in zwei zueinander orthogonalen Ebenen zu trainieren. Anschließend verbessern wir den Wichtigkeitsscore-Algorithmus, der die Berechnung der Parametersensitivitätsscores um etwa 98,5 % reduziert. Durch das Beschneiden von Singulärwerten mit geringeren Wichtigkeitsscores wird die Anpassungsfähigkeit an verschiedene nachgelagerte Aufgaben erhöht. Umfangreiche Experimente werden an zwei weitverbreiteten vortrainierten Modellen durchgeführt, um die Wirksamkeit von LoRA² zu validieren. Die Ergebnisse zeigen, dass die Anzahl der trainierbaren Parameter auf nur 0,72 % im Vergleich zur vollständigen Feinabstimmung reduziert wird, während dennoch eine sehr beeindruckende Leistung erbracht wird. Selbst wenn die Parameter weiter auf 0,17M reduziert werden, erzielt es immer noch vergleichbare Ergebnisse zum Basismodell mit 8-mal mehr Parametern. Unser Code ist hier verfügbar: https: //anonymous. 4open. science/r/LoRA-2-5B4C