预训练、提示与预测：自然语言处理中的提示方法系统综述

本文调查并整理了自然语言处理中新兴范式的研究工作，我们称之为“基于提示的学习”。不同于传统的监督学习，传统方法训练模型输入x并预测输出y的条件概率P(y|x)，基于提示的学习基于直接建模文本概率的语言模型。为使用这些模型执行预测任务，原始输入x通过模板修改为带有若干未填充槽位的文本字符串提示x′，然后语言模型以概率方式填充未填充的信息，得到最终字符串x̂，从而推导出最终输出y。该框架因多种原因而强大且吸引人：它允许语言模型在海量原始文本上预训练，并通过定义新的提示函数使模型能够进行少样本甚至零样本学习，适应有少量或无标注数据的新场景。本文介绍了该有希望范式的基础知识，描述了一套统一的数学符号系统，涵盖多样现有工作，并沿多个维度组织现有工作，如预训练语言模型的选择、提示和调优策略。为使该领域更易为感兴趣的初学者获取，我们不仅系统综述现有工作并构建高度结构化的基于提示的概念分类体系，还发布了其他资源，如不断更新的综述和论文列表网站NLPedia–Pretrain。