基于复杂度的多步推理提示

我们研究了提示大规模语言模型进行多步推理的任务。现有研究表明，当使用“思路链”（CoT）作为提示时，即描述通向最终答案的中间推理步骤的短句序列，大语言模型能够生成新的推理链并预测新输入的答案。一个核心问题是哪些推理示例能成为最有效的提示。在本工作中，我们提出了基于复杂度的提示，这是一种简单且有效的多步推理示例选择方案。我们展示了具有更高推理复杂度的提示，即包含更多推理步骤的链，在多步推理任务上相较强基线取得明显更好的性能。我们进一步将基于复杂度的标准从提示选择（输入选择）扩展到解码（输出选择），在解码阶段从模型中采样多个推理链，然后从复杂推理链（相较简单链）中选择生成答案的多数派。当用于提示GPT-3和Codex时，我们的方法显著提高了多步推理的准确率，并在三个数学基准测试（GSM8K、MultiArith和MathQA）及两个BigBenchHard任务（日期理解和企鹅任务）上达成了新的最先进表现，平均提升+5.3%，最高达+18%。与人工调优或基于检索的选择等现有示例选择方案相比，基于推理复杂度的选择更直观、易于实现且节省标注成本。进一步的结果展示了复杂提示在格式扰动和分布偏移下性能提升的鲁棒性。