Ataques adversariais a agentes de aprendizado por reforço para comando e controle

Dado o impacto recente do aprendizado por reforço profundo no treinamento de agentes para vencer jogos complexos como StarCraft e DoTA (Defense Of The Ancients) — houve uma explosão na pesquisa para explorar técnicas baseadas em aprendizado para jogos de guerra profissionais, simulação de campo de batalha e modelagem. Jogos de estratégia em tempo real e simuladores se tornaram recursos valiosos para planejamento operacional e pesquisa militar. Contudo, trabalhos recentes mostraram que essas abordagens baseadas em aprendizado são altamente suscetíveis a perturbações adversariais. Neste artigo, investigamos a robustez de um agente treinado para uma tarefa de comando e controle em um ambiente controlado por um adversário ativo. O agente C2 é treinado em mapas personalizados de StarCraft II usando algoritmos de RL de ponta — Asynchronous Advantage Actor Critic (A3C) e proximal policy optimization (PPO). Demonstramos empiricamente que um agente treinado com esses algoritmos é altamente suscetível ao ruído injetado pelo adversário e investigamos os efeitos dessas perturbações no desempenho do agente treinado. Nosso trabalho destaca a necessidade urgente de desenvolver algoritmos de treinamento mais robustos, especialmente para áreas críticas como o campo de batalha.