LoRA-XS: Niedrigrangige Anpassung mit extrem kleiner Parameterzahl

Der aktuelle Trend bei der Skalierung von Sprachmodellen hat zu einer wachsenden Nachfrage nach parameter-effizienten Feinabstimmungsmethoden (PEFT) wie LoRA (Low-Rank Adaptation) geführt. LoRA erreicht beständig die gleiche Leistung wie oder übertrifft die vollständige Feinabstimmung mit weniger Parametern. Dennoch stellt das Handling zahlreicher aufgaben- oder benutzerspezifischer LoRA-Module auf einem Basismodell weiterhin erhebliche Speicherherausforderungen dar. Um dem zu begegnen, führen wir LoRA-XS (Low-Rank Adaptation mit extrem kleiner Parameterzahl) ein, einen neuartigen Ansatz, der auf der Singulärwertzerlegung (SVD) für parameter-effiziente Feinabstimmung basiert. LoRA-XS führt eine kleine r x r Gewichtsmatrix zwischen gefrorenen LoRA-Matrizen ein, die durch SVD der ursprünglichen Gewichtsmatrix konstruiert werden. Das Training nur der r x r Gewichtsmatrizen gewährleistet Unabhängigkeit von den Modellabmessungen und ermöglicht so eine parameter-effizientere Feinabstimmung, besonders bei größeren Modellen. LoRA-XS erzielt eine bemerkenswerte Reduktion der trainierbaren Parameter um über den Faktor 100 bei 7B-Modellen im Vergleich zu LoRA. Unsere Benchmarking-Ergebnisse über verschiedene Skalen hinweg, einschließlich der GLUE-, GSM8k- und MATH-Benchmarks, zeigen, dass unser Ansatz in Bezug auf Parameter-Effizienz LoRA und neuere state-of-the-art-Methoden wie VeRA übertrifft und dabei eine wettbewerbsfähige Leistung aufrechterhält.