Lokalisiertes LoRA: Eine strukturierte Niedrigrangapproximation für effizientes Fein-Tuning

Parameter-effiziente Feinabstimmungsmethoden (PEFT), wie LoRA, bieten kompakte und effektive Alternativen zum vollständigen Modell-Fein-Tuning, indem sie Niedrigrang-Updates der vortrainierten Gewichte einführen. Die meisten bestehenden Ansätze beruhen jedoch auf globalen Niedrigrangstrukturen, die räumliche Muster im Parameterraum übersehen können. In dieser Arbeit schlagen wir Localized LoRA vor, einen verallgemeinerten Rahmen, der Gewichtsupdates als Komposition von Niedrigrangmatrizen modelliert, die auf strukturierte Blöcke der Gewichtsmatrix angewendet werden. Diese Formulierung ermöglicht dichte, lokalisierte Updates im gesamten Parameterraum, ohne die Gesamtzahl der trainierbaren Parameter zu erhöhen. Wir bieten einen formalen Vergleich zwischen globalen, diagonal-lokalen und vollständig lokalisierten Niedrigrangapproximationen und zeigen, dass unsere Methode bei gleichem Parameterbudget konstant niedrigere Approximationsfehler erreicht. Experimente in synthetischen und praktischen Szenarien demonstrieren, dass Localized LoRA eine ausdrucksstärkere und anpassungsfähigere Alternative zu bestehenden Methoden darstellt und effizientes Fein-Tuning mit verbesserter Leistung ermöglicht.