Dezentralisierte Multi-Agenten-Koordinationsforschung durch Neuheitsaustausch

Die Erforschung in dezentralem kooperativem Multi-Agenten-Verstärkungslernen steht vor zwei Herausforderungen. Zum einen ist die Neuheit globaler Zustände nicht verfügbar, während die Neuheit lokaler Beobachtungen verzerrt ist. Zum anderen stellt sich die Frage, wie Agenten koordiniert explorieren können. Um diese Herausforderungen zu bewältigen, schlagen wir MACE vor, eine einfache, aber effektive Methode zur koordinierten Multi-Agenten-Erkundung. Durch die Kommunikation nur lokaler Neuheit können Agenten die lokale Neuheit anderer Agenten berücksichtigen, um die globale Neuheit zu approximieren. Darüber hinaus führen wir neu gewichtete gegenseitige Information ein, um den Einfluss der Aktion eines Agenten auf die akkumulierte Neuheit anderer Agenten zu messen. Wir wandeln diese im Nachhinein in eine intrinsische Belohnung um, um Agenten zu ermutigen, mehr Einfluss auf die Erkundung anderer Agenten auszuüben und die koordinierte Erkundung zu fördern. Empirisch zeigen wir, dass MACE in drei Multi-Agenten-Umgebungen mit spärlichen Belohnungen überlegene Leistungen erzielt.