LLM-Planner : Planification à faible échantillonnage pour agents incarnés avec de grands modèles de langage

Cette étude se concentre sur l'utilisation de grands modèles de langage (LLMs) comme planificateur pour des agents incarnés capables de suivre des instructions en langage naturel afin d'accomplir des tâches complexes dans un environnement perçu visuellement. Le coût élevé des données et la faible efficacité d'échantillonnage des méthodes existantes freinent le développement d'agents polyvalents capables de nombreuses tâches et pouvant apprendre rapidement de nouvelles tâches. Dans ce travail, nous proposons une nouvelle méthode, LLM-Planner, qui exploite la puissance des grands modèles de langage pour réaliser une planification à faible échantillonnage pour les agents incarnés. Nous proposons en outre une manière simple mais efficace d'améliorer les LLMs par un ancrage physique afin de générer et mettre à jour des plans ancrés dans l'environnement actuel. Les expériences sur le jeu de données ALFRED montrent que notre méthode peut atteindre des performances très compétitives en faible échantillonnage : bien qu'utilisant moins de 0,5 % des données d'entraînement appariées, LLM-Planner obtient des performances compétitives avec des méthodes récentes entraînées sur l'ensemble des données d'entraînement. Les méthodes existantes ne parviennent guère à accomplir une tâche avec succès dans le même cadre de faible échantillonnage. Notre travail ouvre la voie au développement d'agents incarnés polyvalents et efficaces en nombre d'échantillons, capables d'apprendre rapidement de nombreuses tâches.