Monologue Intérieur : Raisonnement Incarné par la Planification avec des Modèles de Langage

Des travaux récents ont montré comment les capacités de raisonnement des Grands Modèles de Langage (LLMs) peuvent être appliquées à des domaines au-delà du traitement du langage naturel, tels que la planification et l'interaction pour les robots. Ces problèmes incarnés nécessitent qu'un agent comprenne de nombreux aspects sémantiques du monde : le répertoire de compétences disponibles, comment ces compétences influencent le monde, et comment les changements dans le monde se reflètent dans le langage. La planification par les LLMs dans des environnements incarnés doit considérer non seulement quelles compétences exécuter, mais aussi comment et quand les faire - des réponses qui évoluent dans le temps en fonction des choix de l'agent. Dans ce travail, nous étudions dans quelle mesure les LLMs utilisés dans ces contextes incarnés peuvent raisonner à partir de sources de rétroaction fournies en langage naturel, sans entraînement supplémentaire. Nous proposons qu'en exploitant la rétroaction de l'environnement, les LLMs sont capables de former un monologue intérieur leur permettant de traiter et planifier plus richement dans des scénarios de contrôle robotique. Nous étudions diverses sources de rétroaction, telles que la détection de succès, la description de scène et l'interaction humaine. Nous constatons que la rétroaction linguistique en boucle fermée améliore significativement l'exécution des instructions de haut niveau sur trois domaines, incluant des tâches simulées et réelles de réarrangement sur table ainsi que des tâches de manipulation mobile à long terme dans un environnement de cuisine réel.