Além do Ensino Tradicional: Modelos de Linguagem de Grande Porte como Assistentes de Ensino Simulados em Ciência da Computação

À medida que a proeminência dos Modelos de Linguagem de Grande Porte (LLMs) cresce em diversos setores, seu potencial na educação merece ser explorado. Neste estudo, investigamos a viabilidade de empregar o GPT-3.5 da OpenAI como assistente de ensino (TA) ou TA virtual em cursos de ciência da computação (CS). O objetivo é melhorar a acessibilidade do ensino de CS, mantendo a integridade acadêmica ao evitar fornecer soluções diretas para trabalhos do semestre atual. Focando em Foundations of Programming (COMP202), um curso de graduação que introduz programação com Python, desenvolvemos um TA virtual usando o framework LangChain, conhecido por integrar modelos de linguagem com diversas fontes de dados e ambientes. O TA virtual auxilia estudantes com seu código e esclarece conceitos complexos. Para questões de lição de casa, ele é projetado para orientar os alunos com dicas, em vez de fornecer soluções diretas. Avaliamos seu desempenho inicialmente por avaliação qualitativa e depois por análise comparativa baseada em pesquisa, utilizando uma mistura de perguntas frequentemente feitas no fórum COMP202 e perguntas criadas pelos autores. Nossos resultados preliminares indicam que o TA virtual supera os TAs humanos em clareza e engajamento, igualando-os em precisão quando a questão não é específica de tarefas, para as quais os TAs humanos ainda se mostraram mais confiáveis. Esses achados sugerem que embora os TAs virtuais, alavancando as capacidades dos LLMs, tenham grande potencial para tornar a experiência do ensino de CS mais acessível e envolvente, seu uso ideal requer supervisão humana. Concluímos identificando várias direções que podem ser exploradas em implementações futuras.