Aprendizaje por Refuerzo Profundo para Sistemas Multiagente: Una Revisión de Desafíos, Soluciones y Aplicaciones

Los algoritmos de aprendizaje por refuerzo (RL) existen desde hace décadas y se han utilizado para resolver diversos problemas de toma de decisiones secuenciales. Sin embargo, estos algoritmos han enfrentado grandes retos al manejar entornos de alta dimensionalidad. El desarrollo reciente del aprendizaje profundo ha permitido que los métodos de RL impulsen políticas óptimas para agentes sofisticados y capaces, que pueden desempeñarse eficientemente en estos entornos desafiantes. Este artículo aborda un aspecto importante del RL profundo relacionado con situaciones que requieren que múltiples agentes se comuniquen y cooperen para resolver tareas complejas. Se presenta una encuesta de diferentes enfoques para problemas relacionados con el RL profundo multiagente (MADRL), incluyendo no estacionariedad, observabilidad parcial, espacios continuos de estados y acciones, esquemas de entrenamiento multiagente y aprendizaje por transferencia multiagente. Se analizarán y discutirán los méritos y deméritos de los métodos revisados junto con sus aplicaciones correspondientes. Se prevé que esta revisión aporte conocimientos sobre varios métodos MADRL y pueda conducir al desarrollo futuro de métodos de aprendizaje multiagente más robustos y altamente útiles para resolver problemas del mundo real.