Verbesserung der Zero-Shot-Generalisation gelernter Prompts durch unüberwachte Wissensdistillation

Vision-Language-Modelle (VLMs) zeigen eine bemerkenswerte Zero-Shot-Generalisation auf unbekannte Aufgaben, erreichen jedoch nicht die Leistung überwacht lernender Methoden bei der Generalisierung auf nachgelagerte Aufgaben mit begrenzten Daten. Prompt-Lernen etabliert sich als parameter-effiziente Methode zur Anpassung von VLMs, allerdings benötigen moderne Ansätze annotierte Beispiele. In dieser Arbeit schlagen wir einen neuartigen Ansatz zum Prompt-Lernen vor, der auf unüberwachter Wissensdistillation von leistungsfähigeren Modellen basiert. Unser Ansatz, den wir Knowledge Distillation Prompt Learning (KDPL) nennen, kann in bestehende Prompt-Lerntechniken integriert werden und eliminiert die Notwendigkeit gelabelter Beispiele während der Anpassung. Unsere Experimente mit mehr als zehn standardisierten Benchmark-Datensätzen zeigen, dass KDPL sehr effektiv die Generalisierung gelernter Prompts für Zero-Shot-Domaingeneralisierung, Zero-Shot-Cross-Dataset-Generalisation und Zero-Shot-Base-to-Novel-Class-Generalisation verbessert. KDPL benötigt keine Ground-Truth-Labels für die Anpassung; zudem zeigen wir, dass es selbst ohne Kenntnis der Trainingsklassenbezeichnungen effektiv Wissen übertragen kann. Der Code ist öffentlich verfügbar unter https://github.com/miccunifi/KDPL.