Apprentissage par renforcement bayésien : une enquête

Les méthodes bayésiennes pour l'apprentissage automatique ont été largement étudiées, aboutissant à des méthodes principled pour intégrer l'information a priori dans les algorithmes d'inférence. Dans cette enquête, nous fournissons une revue approfondie du rôle des méthodes bayésiennes dans le paradigme de l'apprentissage par renforcement (RL). Les principales motivations pour intégrer le raisonnement bayésien en RL sont : 1) il offre une approche élégante pour la sélection d'action (exploration/exploitation) en fonction de l'incertitude dans l'apprentissage ; et 2) il fournit un mécanisme pour incorporer la connaissance a priori dans les algorithmes. Nous discutons d'abord des modèles et méthodes pour l'inférence bayésienne dans le modèle simple de Bandit à étape unique. Nous passons ensuite en revue la littérature récente étendue sur les méthodes bayésiennes pour le RL basé sur un modèle, où l'information a priori peut être exprimée sur les paramètres du modèle de Markov. Nous présentons également des méthodes bayésiennes pour le RL sans modèle, où les a priori sont exprimés sur la fonction de valeur ou la classe de politiques. L'objectif de cet article est de fournir une enquête exhaustive sur les algorithmes de RL bayésien et leurs propriétés théoriques et empiriques.