Predicción Densa Multi-Tarea mediante Mezcla de Expertos de Bajo Rango

Los métodos previos de predicción densa multi-tarea basados en la Mezcla de Expertos (MoE) han obtenido un gran rendimiento, pero descuidan la importancia de modelar explícitamente las relaciones globales entre todas las tareas. En este artículo, presentamos un método novedoso enfocado en el decodificador para la predicción densa multi-tarea, denominado Mezcla-de-Expertos-de-Bajo-Rango (MLoRE). Para modelar las relaciones globales entre tareas, MLoRE añade una ruta genérica de convolución a la estructura original MoE, donde cada característica de tarea puede pasar por esta ruta para un intercambio explícito de parámetros. Además, para controlar los parámetros y el costo computacional que conlleva el aumento en el número de expertos, nos inspiramos en LoRA y proponemos aprovechar el formato de bajo rango de una convolución básica en la red de expertos. Dado que los expertos de bajo rango tienen menos parámetros y pueden parametrizarse dinámicamente en la convolución genérica, los parámetros y el costo computacional no cambian mucho con el aumento de expertos. Beneficiándonos de este diseño, incrementamos el número de expertos y su campo de recepción para ampliar la capacidad de representación, facilitando el aprendizaje de múltiples tareas densas en una red unificada. Experimentos extensos en los benchmarks PASCAL-Context y NYUD-v2 demuestran que nuestro MLoRE logra un rendimiento superior en comparación con métodos anteriores de estado del arte en todas las métricas. Nuestro código está disponible en https://github.com/YuqiYang213/MLoRE.