Revisitar la Optimización del Desequilibrio en el Aprendizaje Multi-tarea: Un Análisis Experimental

El aprendizaje multi-tarea (MTL) tiene como objetivo construir sistemas de visión de propósito general entrenando una sola red para realizar múltiples tareas conjuntamente. Aunque prometedor, su potencial suele verse obstaculizado por la "optimización desequilibrada", donde la interferencia entre tareas conduce a un rendimiento inferior en comparación con modelos de tarea única. Para facilitar la investigación en MTL, este artículo presenta un análisis experimental sistemático para diseccionar los factores que contribuyen a este problema persistente. Nuestra investigación confirma que el rendimiento de los métodos de optimización existentes varía de manera inconsistente entre conjuntos de datos, y las arquitecturas avanzadas aún dependen de costosos pesos de pérdida buscados en una malla. Además, mostramos que aunque los potentes Modelos Fundamentales de Visión (VFMs) proporcionan una inicialización sólida, no resuelven inherentemente el desequilibrio de optimización, y simplemente aumentar la cantidad de datos ofrece beneficios limitados. Un hallazgo crucial que emerge de nuestro análisis es que existe una fuerte correlación entre el desequilibrio de optimización y la norma de los gradientes específicos de cada tarea. Demostramos que esta información es directamente aplicable, mostrando que una estrategia sencilla de escalar las pérdidas de las tareas según sus normas de gradiente puede lograr un rendimiento comparable al de una extensa y computacionalmente costosa búsqueda en malla. Nuestro análisis integral sugiere que entender y controlar la dinámica de los gradientes es un camino más directo hacia un MTL estable que desarrollar métodos cada vez más complejos.