Agents de Modèle de Langage Améliorés par la Logique pour des Simulations Sociales Fiables

Nous introduisons le cadre des Agents de Modèle de Langage Améliorés par la Logique (LELMA), une approche novatrice pour améliorer la fiabilité des simulations sociales utilisant de grands modèles de langage (LLMs). Bien que les LLMs aient attiré l'attention en tant qu'agents de simulation du comportement humain, leur applicabilité à ce rôle est limitée par des problèmes tels que les hallucinations inhérentes et les incohérences logiques. LELMA s'attaque à ces défis en intégrant des LLMs avec l'IA symbolique, permettant une vérification logique du raisonnement généré par les LLMs. Ce processus de vérification fournit des rétroactions correctives, affinant la sortie de raisonnement. Le cadre se compose de trois composants principaux : un LLM-Raisonneur pour produire un raisonnement stratégique, un LLM-Traducteur pour mapper le raisonnement en langage naturel à des requêtes logiques, et un Solveur pour évaluer ces requêtes. Cette étude se concentre sur la prise de décision dans des scénarios de théorie des jeux comme modèle d'interaction humaine. Des expériences impliquant le jeu du Faucon et de la Colombe, le Dilemme du Prisonnier et la Chasse au Cerf mettent en lumière les limites des LLMs à la pointe de la technologie, GPT-4 Omni et Gemini 1.0 Pro, dans la production d'un raisonnement correct dans ces contextes. LELMA démontre une grande précision dans la détection d'erreurs et améliore la justesse du raisonnement des LLMs via un auto-affinage, en particulier dans GPT-4 Omni.