PeriodicLoRA: Die Low-Rank-Flaschenhals in der LoRA-Optimierung durchbrechen

Überwachtes Fine-Tuning ist die gebräuchlichste Methode, um große Sprachmodelle (LLMs) an nachgelagerte Aufgaben anzupassen, aber das vollständige Fine-Tuning von LLMs erfordert massive Rechenressourcen. Kürzlich wurden parameter-effiziente Fine-Tuning-Methoden (PEFT) aufgrund ihrer Kosteneffizienz breit untersucht. LoRA ist eine der am weitesten verbreiteten Methoden, die davon ausgeht, dass der Optimierungsprozess im Wesentlichen niedrigdimensional ist. Obwohl LoRA-Fine-Tuning effektiv ist, besteht immer noch eine Leistungslücke im Vergleich zum vollständigen Fine-Tuning, da das Gewichtsupdate auf niedrig-rangige Matrizen beschränkt ist. Um den Low-Rank-Flaschenhals in der LoRA-Optimierung zu durchbrechen, schlagen wir PeriodicLoRA (PLoRA) vor, das niedrig-rangige Update-Matrizen mehrfach akkumuliert, um eine höhere Update-Rangfolge zu erreichen. PLoRA hat mehrere Trainingsphasen. Während jeder Phase aktualisieren wir weiterhin nur die LoRA-Gewichte. Am Ende jeder Phase entladen wir jedoch die LoRA-Gewichte in die Backbone-Parameter und initialisieren dann die LoRA-Zustände neu. Experimentelle Ergebnisse zeigen, dass PLoRA eine stärkere Lernfähigkeit besitzt, etwa 1,8-mal so hoch wie die Lernfähigkeit von LoRA, jedoch ohne die Speicherbenutzung zu erhöhen. Weiterhin führen wir eine schwungbasierte Entladungsstrategie für PLoRA ein, um die Trainingsinstabilität zu mindern.