Génération de rétroaction pour les exercices de programmation avec GPT-4

Depuis que les grands modèles de langage (LLMs) et les applications associées sont largement disponibles, plusieurs études ont examiné leur potentiel pour assister les enseignants et soutenir les étudiants dans l'enseignement supérieur. Des LLMs tels que Codex, GPT-3.5 et GPT-4 ont montré des résultats prometteurs dans le contexte de grands cours de programmation, où les étudiants peuvent bénéficier de retours et d'indices s'ils sont fournis en temps opportun et à grande échelle. Cet article explore la qualité de la sortie générée par GPT-4 Turbo pour des invites contenant à la fois la spécification de la tâche de programmation et la soumission d'un étudiant comme entrée. Deux devoirs d'un cours d'initiation à la programmation ont été sélectionnés, et GPT-4 a été sollicité pour générer un retour pour 55 soumissions authentiques d'étudiants choisies aléatoirement. La sortie a été analysée qualitativement en termes de justesse, personnalisation, localisation des erreurs et autres caractéristiques identifiées dans le matériel. Comparé aux travaux et analyses antérieurs sur GPT-3.5, GPT-4 Turbo montre des améliorations notables. Par exemple, la sortie est plus structurée et cohérente. GPT-4 Turbo peut également identifier avec précision les erreurs de casse dans la sortie des programmes des étudiants. Dans certains cas, la rétroaction inclut aussi la sortie du programme de l'étudiant. En même temps, des retours incohérents ont été notés, comme affirmer que la soumission est correcte mais qu'une erreur doit être corrigée. Ce travail augmente notre compréhension du potentiel, des limites des LLMs, et comment les intégrer dans les systèmes d'évaluation électronique, les scénarios pédagogiques et l'instruction des étudiants utilisant des applications basées sur GPT-4.