La segmentación semántica adaptativa al dominio surge del autoentrenamiento con sesgo de dominio supervisado por visión-lenguaje

La segmentación semántica adaptativa al dominio no supervisada aprovecha datos sintéticos para entrenar un modelo de segmentación y lo transfiere a imágenes reales no etiquetadas. Debido a la diferencia de estilo, el modelo transferido sufre de la brecha de dominio. Peor aún, algunas clases presentan una brecha de dominio extrema, donde las distribuciones de características experimentan un cambio completo entre los dos dominios. Para aliviar esto, proponemos una estrategia de autoentrenamiento con sesgo de dominio usando CLIP para destilar su conocimiento agnóstico al dominio. Específicamente, imponemos la consistencia entre los mapas de características de nuestro modelo de segmentación y el codificador de imágenes de CLIP. Mientras tanto, las incrustaciones de texto del codificador de texto para cada clase sirven como un clasificador agnóstico al dominio para apoyar una condición de aprendizaje de características con sesgo de dominio reducido. Los resultados experimentales bajo configuraciones estándar de UDA demuestran que nuestra estrategia propuesta mejora consistentemente el rendimiento de segmentación UDA basada en diferentes arquitecturas y con diferentes modelos grandes preentrenados.