Modell-Reprogrammierung übertrifft Feinabstimmung bei Ausreißerdaten in Text-Bild-Encodern

Bei der Bewertung der Leistung eines vortrainierten Modells, das auf eine nachgelagerte Aufgabe übertragen wurde, ist es entscheidend, nicht nur die In-Distribution-(ID-)Genauigkeit des nachgelagerten Modells zu beurteilen, sondern auch dessen Fähigkeit, zu generalisieren und Ausreißerproben (Out-of-Distribution, OOD) zu erkennen. In diesem Artikel enthüllen wir die versteckten Kosten, die mit invasiven Feinabstimmungstechniken verbunden sind. Konkret zeigen wir, dass häufig verwendete Feinabstimmungsmethoden nicht nur die für die Generalisierung auf kovariatsverschobene OOD-Proben notwendige Repräsentation verzerren (OOD-Generalisation), sondern auch die Repräsentationen verzerren, die für die Erkennung semantisch verschobener OOD-Proben erforderlich sind (OOD-Erkennung). Um diese Herausforderungen zu meistern, stellen wir einen neuen Modell-Reprogrammierungsansatz für die Feinabstimmung vor, den wir Reprogrammer nennen. Reprogrammer zielt darauf ab, die ganzheitliche Leistung des nachgelagerten Modells in ID-, OOD-Generalisation- und OOD-Erkennungsaufgaben zu verbessern. Unsere empirischen Befunde zeigen, dass Reprogrammer weniger invasiv ist und überlegene nachgelagerte Modelle erzeugt. Darüber hinaus zeigen wir, dass durch das Hinzufügen einer zusätzlichen Residualverbindung für Repräsentationen zu Reprogrammer die Vortrainingsrepräsentationen noch besser erhalten bleiben, was zu einem noch sichereren und robusteren nachgelagerten Modell führt, das in vielen ID-Klassifizierungs-, OOD-Generalisation- und OOD-Erkennungsszenarien exzellent abschneidet.