IReCa : Apprentissage par renforcement contextuel amélioré par récompense intrinsèque pour la coordination Homme-IA

Dans les scénarios de coordination Homme-IA, les agents humains présentent généralement des comportements asymétriques, significativement rares et imprévisibles comparés à ceux des agents IA. Ces caractéristiques introduisent deux défis principaux pour la coordination Homme-IA : l'efficacité de l'obtention des récompenses rares et l'efficience de l'entraînement des agents IA. Pour relever ces défis, nous proposons un algorithme d'apprentissage par renforcement (RL) contextuel amélioré par récompense intrinsèque (IReCa), qui exploite les récompenses intrinsèques pour faciliter l'acquisition des récompenses rares et utilise le contexte environnemental pour améliorer l'efficience de l'entraînement. Notre algorithme RL IReCa introduit trois fonctionnalités uniques : (i) il encourage l'exploration des récompenses rares en incorporant des récompenses intrinsèques complétant les récompenses extrinsèques traditionnelles de l'environnement ; (ii) il améliore l'acquisition des récompenses rares en priorisant les paires état-action rares correspondantes ; et (iii) il accroît l'efficience de l'entraînement en optimisant l'exploration et l'exploitation via des poids contextuels novateurs des récompenses extrinsèques et intrinsèques. Des simulations étendues exécutées dans les environnements Overcooked démontrent que notre algorithme RL IReCa peut augmenter les récompenses cumulées d'environ 20 % et réduire d'environ 67 % le nombre d'époques nécessaires à la convergence par rapport aux références de pointe.