基于检索的代码相关少样本学习提示选择

在大量代码语料库上训练的大型语言模型能够在无需针对特定任务微调的情况下泛化到新的任务。在少样本学习中，这些模型输入一个提示，该提示由自然语言指令、少量任务示例和查询组成，模型据此生成输出。然而，针对代码相关任务有效提示的创建在少样本学习中尚未得到充分关注。我们提出了一种提示创建技术，自动检索与开发者任务相似的代码示例，基于嵌入或频率分析。我们将该方法Cedar应用于两种不同的编程语言（静态类型和动态类型）和两个不同任务，即测试断言生成和程序修复。对于每个任务，我们将Cedar与最先进的特定任务模型和微调模型进行比较。实证结果表明，利用少量相关代码示例，我们的提示创建技术在两项任务中均表现有效，测试断言生成任务中准确率达到76%，程序修复任务中准确率为52%。在断言生成任务中，Cedar分别比现有的特定任务模型和微调模型高出333%和11%的准确率。在程序修复任务中，Cedar比特定任务模型准确率高出189%，并与最新的微调模型表现竞争。这些发现对从业者具有实际意义，因为Cedar有望在多语言和多任务环境中应用，且无需特定任务或语言的训练，仅需极少示例和努力。