Navegando errores de compilador con asistencia de IA -- Un estudio de las pistas de GPT en un curso introductorio de programación

Examinamos la eficacia del aprendizaje asistido por IA en un curso introductorio de programación a nivel universitario utilizando un modelo GPT-4 para generar pistas personalizadas para errores de compilador dentro de una plataforma para evaluación automatizada de tareas de programación. El grupo de control no tenía acceso a las pistas de GPT. En la condición experimental, se proporcionaron pistas de GPT cuando se detectaba un error de compilador, para la primera mitad de los problemas en cada módulo. Para la segunda mitad del módulo, las pistas estaban deshabilitadas. Los estudiantes valoraron altamente la utilidad de las pistas de GPT. En encuestas de afecto, el grupo experimental reportó niveles significativamente más altos de concentración y niveles más bajos de confrustración (confusión y frustración) que el grupo de control. Para los seis tipos de error más comunes, observamos resultados mixtos en términos de desempeño cuando el grupo experimental tenía acceso a las pistas de GPT. Sin embargo, en ausencia de las pistas de GPT, el desempeño del grupo experimental superó al del grupo de control en cinco de los seis tipos de error.