MTLoRA: Uma Abordagem de Adaptação de Baixa Postura para Aprendizado Multi-Tarefa Eficiente

Adaptar modelos pré-treinados em grandes conjuntos de dados para uma variedade de tarefas subsequentes é uma estratégia comum em aprendizado profundo. Consequentemente, métodos de ajuste fino eficientes em parâmetros surgiram como uma forma promissora de adaptar modelos pré-treinados a diferentes tarefas treinando apenas um número mínimo de parâmetros. Embora a maioria desses métodos seja projetada para adaptação em tarefa única, o treinamento eficiente em parâmetros em arquiteturas de Aprendizado Multi-Tarefa (MTL) ainda é pouco explorado. Neste artigo, apresentamos o MTLoRA, um novo framework para treinamento eficiente em parâmetros de modelos MTL. O MTLoRA utiliza módulos de Adaptação de Baixa Postura Tarefa-Agnóstica e Tarefa-Específica, que efetivamente disentram o espaço de parâmetros no ajuste fino MTL, permitindo ao modelo lidar adequadamente tanto com a especialização quanto a interação das tarefas em contextos MTL. Aplicamos o MTLoRA a arquiteturas MTL baseadas em transformadores hierárquicos, adaptando-as a múltiplas tarefas densas downstream. Nossos experimentos extensivos no conjunto de dados PASCAL mostram que o MTLoRA alcança maior precisão nas tarefas downstream comparado ao ajuste fino completo do modelo MTL, reduzindo em 3,6x o número de parâmetros treináveis. Além disso, o MTLoRA estabelece um trade-off Pareto-ótimo entre o número de parâmetros treináveis e a precisão das tarefas downstream, superando os métodos atuais de treinamento eficiente em parâmetros em precisão e eficiência. Nosso código está publicamente disponível.