“上下文学习”：或者说：我如何学会放下担忧，爱上“应用信息检索”

随着大型语言模型（LLMs）能力的提升，上下文学习（ICL）已发展为自然语言处理（NLP）的一种新范式。在该范式中，不是通过标注样本针对下游任务微调LLM参数，而是将少量此类样本附加到提示指令中以控制解码器的生成过程。ICL在概念上类似于非参数方法，如k-NN，其中对每个实例的预测本质上依赖于局部拓扑结构，即一组局部相似实例及其标签（称为少样本示例）。这表明ICL中的测试实例类似于信息检索中的查询，而从训练集中检索的相似示例类似于从文档集合中检索的一组文档。虽然可以使用标准无监督排序模型从训练集中检索这些少样本示例，但通过重新定义与下游任务效用相关的特定相关性概念，即若将某示例纳入提示指令中能导致正确预测则认为其相关，可能提升示例的有效性。利用此任务特定的相关性概念，可以训练监督排序模型（例如双编码器或交叉编码器），有望学会最优选择少样本示例。我们认为神经排序器的最新进展可能为更有效的下游ICL预测中的示例最优选择任务找到应用场景。