CLIP-Embed-KD: Destilación de Conocimiento Computacionalmente Eficiente Usando Embeddings como Profesores

El preentrenamiento contrastivo lenguaje-imagen (CLIP) ha demostrado mejorar las capacidades de generalización en cero disparos de modelos de lenguaje y visión. En este artículo, extendemos CLIP para una destilación de conocimiento eficiente, utilizando embeddings como profesores. Los marcos típicos de destilación de conocimiento requieren ejecutar pasadas hacia adelante a través de un modelo profesor, lo cual suele ser prohibitivo en el caso de profesores con miles de millones o trillones de parámetros. En estos casos, usar solo los embeddings de los modelos profesores para guiar la destilación puede generar ahorros computacionales significativos. Nuestros hallazgos preliminares muestran que la destilación de conocimiento basada en CLIP con embeddings puede superar a la destilación de conocimiento a escala completa usando 9 veces menos memoria y 8 veces menos tiempo de entrenamiento. Código disponible en: https: //github. com/lnairGT/CLIP-Distillation/