CLIP-Embed-KD : Distillation des Connaissances Efficace en Calcul Utilisant les Intégrations comme Enseignants

Le pré-entraînement contrastif langage-image (CLIP) a démontré une amélioration des capacités de généralisation zero-shot des modèles de langage et de vision. Dans cet article, nous étendons CLIP pour une distillation des connaissances efficace en utilisant les intégrations comme enseignants. Les cadres typiques de distillation des connaissances nécessitent des passages avant à travers un modèle enseignant, ce qui est souvent prohibitif dans le cas d'enseignants de plusieurs milliards ou billions de paramètres. Dans ces cas, l'utilisation uniquement des intégrations des modèles enseignants pour guider la distillation peut entraîner des économies computationnelles significatives. Nos résultats préliminaires montrent que la distillation des connaissances basée sur CLIP avec intégrations peut surpasser la distillation complète en utilisant 9 fois moins de mémoire et 8 fois moins de temps d'entraînement. Code disponible sur : https://github.com/lnairGT/CLIP-Distillation/