AutoLoRA：基于元学习的低秩适应中矩阵秩的自动调节

大规模预训练 followed by 任务特定微调 在各种NLP任务中取得了巨大成功。由于对大型预训练模型的所有参数进行微调带来了 substantial 计算和内存挑战，已经开发了几种高效的微调方法。其中，低秩适应（LoRA）通过在冻结的预训练权重之上微调低秩增量更新矩阵，已被证明特别有效。然而，LoRA在所有层中统一的秩分配以及依赖穷举搜索寻找最佳秩，导致高计算成本和次优的微调性能。为了解决这些限制，我们引入了AutoLoRA，一个基于元学习的框架，用于自动识别每个LoRA层的最佳秩。AutoLoRA将低秩更新矩阵中的每个秩-1矩阵关联一个选择变量，该变量决定是否丢弃该秩-1矩阵。我们开发了一种基于元学习的方法来学习这些选择变量。通过对这些变量值设置阈值来确定最佳秩。我们在自然语言理解、生成和序列标注上的综合实验证明了AutoLoRA的有效性。