Expectativa vs. Experiência: Avaliando a Usabilidade de Ferramentas de Geração de Código Baseadas em Grandes Modelos de Linguagem

Avanços recentes em Grandes Modelos de Linguagem (LLM) tornaram possível a geração automática de código para tarefas de programação do mundo real em linguagens de programação de uso geral, como Python. No entanto, há poucos estudos humanos sobre a usabilidade dessas ferramentas e como elas se encaixam no fluxo de trabalho de programação. Neste trabalho, conduzimos um estudo com 24 participantes, do tipo within-subjects, para entender como programadores usam e percebem o Copilot, uma ferramenta de geração de código baseada em LLM. Descobrimos que, embora o Copilot não tenha necessariamente melhorado o tempo de conclusão da tarefa ou a taxa de sucesso, a maioria dos participantes preferiu usar o Copilot em tarefas diárias de programação, pois o Copilot frequentemente fornecia um ponto de partida útil e poupava o esforço de buscar online. No entanto, os participantes enfrentaram dificuldades para entender, editar e depurar os trechos de código gerados pelo Copilot, o que prejudicou significativamente sua eficácia na resolução de tarefas. Finalmente, destacamos várias direções promissoras para melhorar o design do Copilot com base em nossas observações e no feedback dos participantes.