Verbesserung der Domänenübergreifenden Diskriminierbarkeit im Kontinuierlichen Lernen von Visions-Sprach-Modellen

Kontinuierliches Lernen (CL) mit Visions-Sprach-Modellen (VLMs) hat die Beschränkungen des traditionellen CL überwunden, das sich nur auf zuvor begegnete Klassen konzentriert. Beim CL von VLMs müssen wir nicht nur das katastrophale Vergessen von schrittweise gelerntem Wissen verhindern, sondern auch die Zero-Shot-Fähigkeit der VLMs bewahren. Bestehende Methoden erfordern jedoch zusätzliche Referenzdatensätze, um diese Zero-Shot-Fähigkeit zu erhalten, und verlassen sich auf Domänen-Identitäts-Hinweise, um Bilder aus verschiedenen Domänen zu klassifizieren. In dieser Studie schlagen wir Regression-based Analytic Incremental Learning (RAIL) vor, das einen rekursiven, auf Ridge-Regression basierenden Adapter nutzt, um aus einer Sequenz von Domänen auf nicht-vergessende Weise zu lernen und die domänenübergreifenden Korrelationen zu entkoppeln, indem Merkmale in einen höherdimensionalen Raum projiziert werden. In Zusammenarbeit mit einem trainingsfreien Fusionsmodul bewahrt RAIL die Zero-Shot-Fähigkeit des VLMs auf ungesehenen Domänen absolut, ohne jegliche Referenzdaten. Zusätzlich führen wir das Cross-domain Task-Agnostic Incremental Learning (X-TAIL) Setting ein. In diesem Setting soll ein CL-Lerner schrittweise aus mehreren Domänen lernen und Testbilder sowohl aus gesehenen als auch ungesehenen Domänen ohne Domänen-Identitäts-Hinweis klassifizieren. Wir beweisen theoretisch die absolute Speicherung von RAIL bei schrittweise gelernten Domänen. Experimentelle Ergebnisse bestätigen RAILs Spitzenleistung sowohl im X-TAIL als auch im bestehenden Multi-domain Task-Incremental Learning Setting. Der Code wird nach Annahme veröffentlicht.