Selección de Prompts Basada en Recuperación para el Aprendizaje Few-Shot Relacionado con Código

Los grandes modelos de lenguaje entrenados en vastos corpus de código pueden generalizar a nuevas tareas sin necesidad de ajuste fino específico para la tarea. En el aprendizaje few-shot, estos modelos toman como entrada un prompt, compuesto por instrucciones en lenguaje natural, algunas instancias de demostración de la tarea y una consulta, y generan una salida. Sin embargo, la creación de un prompt efectivo para tareas relacionadas con código en aprendizaje few-shot ha recibido poca atención. Presentamos una técnica para la creación de prompts que recupera automáticamente demostraciones de código similares a la tarea del desarrollador, basada en análisis de embeddings o frecuencia. Aplicamos nuestro enfoque, Cedar, a dos lenguajes de programación diferentes, de tipado estático y dinámico, y a dos tareas distintas, a saber, generación de aserciones de prueba y reparación de programas. Para cada tarea, comparamos Cedar con modelos específicos de tarea y modelos ajustados finamente de última generación. Los resultados empíricos muestran que, con solo unas pocas demostraciones de código relevantes, nuestra técnica de creación de prompts es efectiva en ambas tareas con una precisión del 76 % y 52 % en coincidencias exactas para las tareas de generación de aserciones de prueba y reparación de programas, respectivamente. En generación de aserciones, Cedar supera a los modelos específicos de tarea y ajustados finamente existentes en un 333 % y 11 %, respectivamente. En reparación de programas, Cedar ofrece una precisión un 189 % mejor que los modelos específicos de tarea y es competitivo con modelos ajustados finamente recientes. Estos hallazgos tienen implicaciones prácticas para los profesionales, ya que Cedar podría aplicarse potencialmente a entornos multilingües y multitarea sin entrenamiento específico por tarea o lenguaje con un esfuerzo y ejemplos mínimos.