Un cadre d'évaluation méta-jeu pour l'apprentissage par renforcement multiagent profond

L'évaluation des algorithmes d'apprentissage par renforcement multiagent profond (MARL) est compliquée par la stochasticité de l'entraînement et la sensibilité des performances des agents au comportement des autres agents. Nous proposons un cadre d'évaluation méta-jeu pour le MARL profond, en considérant chaque algorithme MARL comme une méta-stratégie, et en échantillonnant de manière répétée des jeux empiriques en forme normale sur des combinaisons de méta-stratégies résultant de différentes graines aléatoires. Chaque jeu empirique capture à la fois les facteurs d'auto-jeu et de jeu croisé entre les graines. Ces jeux empiriques fournissent la base pour la construction d'une distribution d'échantillonnage, utilisant le bootstrap, sur une variété de statistiques d'analyse de jeu. Nous utilisons cette approche pour évaluer les algorithmes MARL profonds à la pointe de la technologie sur une classe de jeux de négociation. À partir des statistiques sur les gains individuels, le bien-être social et les graphes de meilleure réponse empirique, nous découvrons des relations stratégiques entre les méthodes MARL d'auto-jeu, basées sur la population, sans modèle, et avec modèle. Nous étudions également l'effet de la recherche en temps réel comme opérateur de méta-stratégie, et constatons via l'analyse méta-jeu que la version avec recherche d'une méta-stratégie conduit généralement à une amélioration des performances.