使用序列指令微调大型语言模型

大型语言模型（LLMs）在单次查询中难以遵循一系列指令，因为它们可能忽略或误解部分内容。这削弱了它们在需要多步中间过程解决方案的复杂问题中的表现，例如多语言（先翻译再回答）和多模态（先描述再回答）任务。我们通过实证验证了这一点，采用了规模达到LLaMA-2 70B和Mixtral-8x7B的开源LLMs。针对现有数据中序列指令的稀缺性，我们提出了序列指令微调，一种简单但有效的策略，用于自动增强指令微调数据，使LLMs具备执行多条顺序指令的能力。在探索将现有数据集（如Alpaca）中的指令与各种中间任务交错结合后，我们发现序列指令微调的模型在涉及推理、多语言和多模态能力的下游任务中始终优于传统指令微调的基线模型。为了进一步揭示该技术的机制，我们分析了对抗性中间文本、未见任务、提示词表达、任务数量和提示长度对序列指令微调的影响。我们希望此方法能为复杂任务的指令微调开启新的研究方向。