Treinando Agentes de Modelos de Linguagem sem Modificar os Modelos de Linguagem

Pesquisadores e profissionais recentemente reformularam poderosos Large Language Models (LLMs) como agentes, permitindo que eles automatizem tarefas complexas principalmente por meio do uso de funções especializadas. Para facilitar o desenvolvimento de agentes LLM, apresentamos um novo paradigma de treinamento de agentes LLM sem modificar os pesos do LLM, o que é particularmente útil quando os LLMs são difíceis ou inacessíveis para modificações. Inspirados em como os humanos continuamente desenvolvem ferramentas para se adaptar a tarefas do mundo real, em vez de mudar nossa estrutura biológica para adequar um conjunto estático de ferramentas, propomos forjar progressivamente as funções do agente para resolver melhor as tarefas posteriores em vez de modificar os pesos do LLM. Tratando as funções como 'parâmetros do agente' aprendíveis e aproveitando a ideia fundamental do treinamento de modelos na inteligência artificial, desenvolvemos o AgentOptimizer, que emprega o LLM para atualizar as funções dos agentes e cria um algoritmo de treinamento do agente com duas estratégias, roll-back e early-stop, para simplificar o processo de treinamento. Com extensos experimentos, mostramos que o paradigma de treinamento de agentes pode melhorar significativamente o desempenho de agentes LLM representativos em várias tarefas posteriores. Também estudamos o comportamento do treinamento do agente em aspectos como curva de aprendizado e transferibilidade de domínio.