Usando um LLM para Ajudar na Compreensão de Código

Compreender código é desafiador, especialmente ao trabalhar em ambientes de desenvolvimento novos e complexos. Comentários de código e documentação podem ajudar, mas geralmente são escassos ou difíceis de navegar. Grandes modelos de linguagem (LLMs) estão revolucionando o processo de escrita de código. Eles podem fazer o mesmo para ajudar a entendê-lo? Neste estudo, apresentamos uma primeira investigação de uma interface conversacional baseada em LLM construída diretamente no IDE, voltada para a compreensão de código. Nosso plugin para IDE consulta o modelo GPT-3.5-turbo da OpenAI com quatro solicitações de alto nível sem que o usuário precise escrever prompts explícitos: explicar uma seção destacada do código, fornecer detalhes das chamadas de API usadas no código, explicar termos chave específicos do domínio e fornecer exemplos de uso para uma API. O plugin também permite prompts abertos, que são automaticamente contextualizados para o LLM com o programa que está sendo editado. Avaliamos este sistema em um estudo com 32 participantes, que confirma que o uso do nosso plugin pode auxiliar a conclusão de tarefas mais do que a busca na web. Adicionalmente, fornecemos uma análise detalhada das formas como os desenvolvedores usam e percebem a utilidade do sistema, encontrando entre outros que o uso e os benefícios diferem entre estudantes e profissionais. Concluímos que a interação sem prompts em IDEs com LLMs é uma direção promissora para desenvolvedores de ferramentas.