Robuste Testzeit-Anpassung für Zero-Shot-Prompt-Tuning

CLIP hat eine bemerkenswerte Generalisierung über verschiedene nachgelagerte Aufgaben hinweg gezeigt. Durch die Ausrichtung von Bildern und Texten in einem gemeinsamen Merkmalsraum ermöglichen sie Zero-Shot-Klassifikationen über handgefertigte Prompts. Jüngste Studien haben jedoch gezeigt, dass handgefertigte Prompts in praktischen Anwendungen ungeeignet sein können. Insbesondere erfordert die Wahl eines geeigneten Prompts für eine bestimmte Aufgabe genaue Daten und Wissen, die in der Praxis möglicherweise nicht verfügbar sind. Ein unangemessener Prompt kann zu schlechter Leistung führen. Darüber hinaus kann bei fehlenden Trainingsdaten das willkürliche Abstimmen von Prompts anhand unlabeled Testdaten bei handgefertigten Prompts zu schwerwiegender Leistungsverringerung führen. Unsere Studie zeigt, dass die zuvor genannten Probleme hauptsächlich durch Verzerrungen in den Testdaten (Datenverzerrung) und im vortrainierten CLIP-Modell (Modellverzerrung) verursacht werden. Die Datenverzerrung erschwert die Auswahl eines geeigneten Prompts, während die Modellverzerrung einige Vorhersagen ungenau und verzerrt macht, was zu einer Fehlerakkumulation führt. Um diese Verzerrungen anzugehen, schlagen wir die robuste Testzeit-Anpassung für Zero-Shot-Prompt-Tuning (ADAPROMPT) vor. Konkret kombinieren wir mehrere Prompts, um Worst-Case-Ergebnisse zu vermeiden, und passen Prompts dynamisch an, um während des Testens auf die Datenverzerrung zu reagieren. Darüber hinaus verwenden wir einen vertrauensbewussten Puffer, um ausgewogene und vertrauenswürdige unlabeled Testdaten zu speichern, mit denen Prompts zur Überwindung der Modellverzerrung angepasst werden. Unsere umfangreichen Experimente auf mehreren Benchmarks zeigen, dass ADAPROMPT Modellverzerrungen mildert, sich an Datenverzerrungen anpasst und meist die derzeit besten Methoden bei geringem Zeitaufwand übertrifft. Außerdem zeigen unsere experimentellen Ergebnisse, dass ADAPROMPT auf diesen Datensätzen kaum Leistungseinbußen erlebt.