Renforcer l'apprentissage continu des modèles vision-langage via des adapteurs Mixture-of-Experts

L'apprentissage continu peut permettre aux modèles vision-langage d'acquérir continuellement de nouvelles connaissances, sans avoir besoin d'accéder à l'ensemble du jeu de données historique. Cependant, atténuer la dégradation des performances dans les modèles à grande échelle est complexe en raison de (i) changements de paramètres tout au long de l'apprentissage de longue durée et (ii) charges computationnelles significatives associées à l'ajustement complet du modèle. Dans ce travail, nous présentons un cadre d'apprentissage continu efficace en paramètres pour réduire l'oubli à long terme dans l'apprentissage incrémental avec des modèles vision-langage. Notre approche implique l'expansion dynamique d'un modèle CLIP pré-entraîné, via l'intégration d'adapteurs Mixture-of-Experts (MoE) en réponse à de nouvelles tâches. Pour préserver la capacité de reconnaissance zéro-shot des modèles vision-langage, nous introduisons en outre un Sélecteur Auto-Discriminatif de Distribution (DDAS) qui oriente automatiquement les entrées en distribution et hors distribution vers l'adapteur MoE et le CLIP original, respectivement. Grâce à de nombreuses expériences dans divers contextes, notre méthode proposée surpasse constamment les approches antérieures à l'état de l'art tout en réduisant simultanément la charge d'entraînement des paramètres de 60%. Notre code est disponible à https://github.com/JiazuoYu/MoE-Adapters4CL