SAFT: Auf dem Weg zur Out-of-Distribution-Generalisation beim Fine-Tuning

Der Umgang mit Verteilungsverschiebungen der Trainingsdaten, bekannt als Out-of-Distribution (OOD) Generalisierung, stellt eine erhebliche Herausforderung im Bereich des maschinellen Lernens dar. Während ein vortrainiertes Vision-Language-Modell wie CLIP bemerkenswerte Zero-Shot-Leistungen gezeigt hat, führt eine weitere Anpassung des Modells an nachgelagerte Aufgaben zu unerwünschten Verschlechterungen bei OOD-Daten. In dieser Arbeit stellen wir Sparse Adaptation for Fine-Tuning (SAFT) vor, eine Methode, die verhindert, dass das Fine-Tuning das allgemeine Wissen im vortrainierten Modell vergisst. SAFT aktualisiert nur eine kleine Teilmenge wichtiger Parameter, deren Gradientenbetrag groß ist, während die anderen Parameter eingefroren bleiben. SAFT ist einfach zu implementieren und konzeptionell unkompliziert. Umfangreiche Experimente zeigen, dass SAFT mit nur 0,1 % der Modellparameter die Leistung von CLIP deutlich verbessern kann. Es übertrifft konsequent Basis-Methoden über mehrere Benchmarks hinweg. Beim Few-Shot-Lern-Benchmark von ImageNet und dessen Varianten erzielt SAFT in OOD-Einstellungen durchschnittlich einen Gewinn von 5,15 % gegenüber der herkömmlichen Fine-Tuning-Methode.