Verbesserung des Open-Domain Continual Learning durch Nutzung intra-domänenspezifischer kategoriebewusster Prototypen

Trotz jüngster Fortschritte bei der Steigerung der Wirksamkeit von Open-Domain Continual Learning (ODCL) in Vision-Language Models (VLM) kann das Versagen bei (1) der korrekten Identifizierung der Task-ID eines Testbildes und (2) der Verwendung nur des Kategorien-Sets, das der Task-ID entspricht, bei gleichzeitiger Bewahrung des Wissens zu jeder Domäne, die beiden Hauptprobleme von ODCL nicht adressieren: das Vergessen von altem Wissen und die Aufrechterhaltung von Zero-Shot-Fähigkeiten sowie die Verwirrungen, die durch kategorienbezogene Überschneidungen zwischen Domänen entstehen. In diesem Papier schlagen wir eine einfache, aber effektive Lösung vor: die Nutzung intra-domänenspezifischer kategoriebewusster Prototypen für ODCL in CLIP (DPeCLIP), wobei der Prototyp der Schlüssel zur Verbindung der beiden oben genannten Prozesse ist. Konkret schlagen wir eine trainingsfreie Task-ID-Discriminator-Methode vor, bei der Prototypen als Klassifikatoren zur Identifikation von Task-IDs verwendet werden. Darüber hinaus integrieren wir zur Erhaltung des Wissens jeder Domäne intra-domänenspezifische kategoriebewusste Prototypen als domänenspezifische Vorab-Prompts in den Trainingsprozess. Umfangreiche Experimente, durchgeführt an 11 verschiedenen Datensätzen, demonstrieren die Wirksamkeit unseres Ansatzes mit einer durchschnittlichen Verbesserung von 2,37 % und 1,14 % in den Einstellungen für Klassen-Inkremental und Aufgaben-Inkremental, respectively.