Avaliação da Eficácia do Fine-Tuning em LLMs: Um Estudo de Caso com Chatbots de Orientação de Aprendizagem

Treinar e avaliar com precisão chatbots específicos para tarefas é uma área importante de pesquisa para Large Language Models (LLMs). Esses modelos podem ser desenvolvidos para propósitos gerais com a capacidade de lidar com múltiplas tarefas, ou fine-tuned para aplicações específicas, como educação ou suporte ao cliente. Neste estudo, os modelos Mistral 7B, Llama-2 e Phi-2 foram utilizados, os quais têm sucesso comprovado em vários benchmarks, incluindo resposta a perguntas. Os modelos foram fine-tuned usando QLoRa com informações limitadas coletadas de catálogos de cursos. Os modelos fine-tuned foram avaliados usando diversas métricas, com as respostas do GPT-4 consideradas como verdade terra. Os experimentos revelaram que o Phi-2 superou ligeiramente o Mistral 7B, alcançando pontuações de 0.012 BLEU, 0.184 METEOR e 0.873 BERT. Considerando as métricas de avaliação obtidas, as forças e fraquezas dos modelos LLM conhecidos, a quantidade de dados necessária para o fine-tuning e o efeito do método de fine-tuning no desempenho do modelo são discutidos.