Renforcer les agents de grands modèles de langage grâce à l'apprentissage par l'action

Les agents basés sur de grands modèles de langage (LLM) suscitent récemment un intérêt croissant, mais ils sont limités dans leur capacité à apprendre par essai et erreur, un élément clé du comportement intelligent. Dans ce travail, nous soutenons que la capacité à apprendre de nouvelles actions par l'expérience est fondamentale pour le progrès de l'apprentissage chez les agents LLM. Alors que les humains élargissent naturellement leurs espaces d'action et développent des compétences via l'apprentissage expérientiel, les agents LLM opèrent typiquement dans des espaces d'action fixes, limitant ainsi leur potentiel de croissance. Pour relever ces défis, notre étude explore l'apprentissage par actions ouvertes pour les agents linguistiques. Nous introduisons un cadre LearnAct avec une stratégie d'apprentissage itérative pour créer et améliorer des actions sous forme de fonctions Python. À chaque itération, le LLM révise et met à jour les actions disponibles en fonction des erreurs identifiées dans les tâches de formation infructueuses, améliorant ainsi l'efficacité des actions. Nos évaluations expérimentales dans les environnements Robotic Planning et Alfworld montrent qu'après apprentissage sur quelques instances de tâches de formation, notre approche d'apprentissage par actions ouvertes améliore nettement la performance de l'agent pour ce type de tâche (par exemple de 32 % dans AlfWorld par rapport à ReAct+Reflexion), soulignant l'importance de l'apprentissage expérientiel des actions dans le développement d'agents LLM plus intelligents.