Seleção de Prompt Baseada em Recuperação para Aprendizado Few-Shot Relacionado a Código

Modelos de linguagem grandes treinados em enormes corpora de código podem generalizar para novas tarefas sem a necessidade de ajuste fino específico para a tarefa. No aprendizado few-shot, esses modelos recebem como entrada um prompt, composto por instruções em linguagem natural, algumas instâncias de demonstração da tarefa e uma consulta, e geram uma saída. No entanto, a criação de um prompt eficaz para tarefas relacionadas a código no aprendizado few-shot recebeu pouca atenção. Apresentamos uma técnica para criação de prompt que realiza automaticamente a recuperação de demonstrações de código semelhantes à tarefa do desenvolvedor, baseada em análise de embeddings ou frequência. Aplicamos nossa abordagem, Cedar, a duas linguagens de programação diferentes, tipadas estaticamente e dinamicamente, e a duas tarefas diferentes, nomeadamente, geração de asserções de teste e reparo de programa. Para cada tarefa, comparamos Cedar com modelos específicos de tarefa e ajustados finamente de última geração. Os resultados empíricos mostram que, com apenas algumas demonstrações de código relevantes, nossa técnica de criação de prompt é eficaz em ambas as tarefas, com precisão de 76% e 52% para correspondências exatas nas tarefas de geração de asserções de teste e reparo de programa, respectivamente. Para geração de asserções, Cedar supera os modelos específicos de tarefa e ajustados finamente existentes em 333% e 11%, respectivamente. Para reparo de programa, Cedar apresenta 189% de melhor precisão que os modelos específicos de tarefa e é competitivo com modelos ajustados finamente recentes. Essas descobertas têm implicações práticas para os profissionais, pois Cedar poderia ser potencialmente aplicado a cenários multilíngues e multitarefas sem treinamento específico para tarefa ou idioma, com exemplos e esforço mínimos.