MoE-Adapters++：通过动态专家混合适配器实现视觉-语言模型的更高效持续学习

本文首次提出MoE-Adapters，一种参数高效的训练框架，旨在缓解视觉-语言模型（VLM）增量学习中的长期遗忘问题。我们的MoE-Adapters利用逐步添加的路由器来激活并整合来自预定义静态专家集的专属专家适配器，使预训练的CLIP能够高效适应新任务。为了保持VLM的零样本能力，引入了分布判别自动选择器（DDAS），它能自动将分布内和分布外输入分别路由至MoE-Adapters和原始CLIP。然而，依赖静态专家集和独立分布选择器可能导致参数冗余和训练复杂度增加。对此，我们进一步扩展了MoE-Adapters++框架，引入动态MoE适配器，使专家能在持续学习过程中自适应参与。此外，提出了潜在嵌入自动选择器（LEAS），该选择器融合分布选择于CLIP内部，构建更统一的架构。大量多样化设置的实验表明，该方法在持续提升训练效率的同时，始终超过了以往最先进方法的性能。