最少到最多提示法使大型语言模型能够进行复杂推理

链式思维提示在各种自然语言推理任务中表现出了显著的性能。然而，在需要解决比提示中示例更难的问题的任务上，其表现往往不佳。为克服这一由易到难泛化的挑战，我们提出了一种新颖的提示策略——最少到最多提示法。该策略的核心思想是将复杂问题拆解为一系列更简单的子问题，然后按顺序逐一解决。解决每个子问题时利用之前已解决子问题的答案加以辅助。我们在符号操作、组合泛化和数学推理相关任务上的实验结果表明，最少到最多提示法能够泛化到比提示中示例更困难的问题。一个显著的发现是，当使用GPT-3 code-davinci-002模型结合最少到最多提示法时，仅用14个示例即可在任意拆分（包括长度拆分）的组合泛化基准SCAN上实现至少99%的准确率，而链式思维提示法仅为16%。这尤其值得注意，因为文献中专门用于解决SCAN的神经符号模型，均需在包含超过15,000个样本的完整训练集上训练。附录中包含了所有任务的提示示例。