LoRA专家混合

LoRA在大型预训练模型的微调中获得了广泛认可，以适应各种下游任务，展现出显著的效果和效率，从而巩固了其作为最常见微调技术之一的地位。由于LoRA插件的模块化即插即用特性，研究人员探讨了多重LoRA的融合，以赋能模型在多样化下游任务中表现出色。然而，现有的LoRA融合方法面临固有挑战。直接算术合并可能导致原始预训练模型的生成能力或LoRA的独特特性丧失，因而产生次优效果。另一方面，基于参考微调的融合在有效组合多重LoRA时表现出灵活性不足。针对这些挑战，本文提出了LoRA专家混合（Mixture of LoRA Experts，MoLE）方法，利用分层控制和无拘束分支选择。MoLE方法不仅在LoRA融合性能上优于直接算术合并，还保持了有效组合LoRA所需的关键灵活性。在自然语言处理（NLP）和视觉与语言（V&L）领域的广泛实验评估进一步验证了MoLE的有效性。