コマンド・アンド・コントロールにおける強化学習エージェントへの敵対的攻撃

Deep Reinforcement LearningがStarCraftやDoTA（Defense Of The Ancients）などの複雑なゲームでエージェントを勝利に導くための学習に与えた最近の影響を踏まえ、プロフェッショナルなウォーゲーミング、戦場シミュレーションおよびモデリングにおいて学習ベースの技術を活用する研究が急増しています。リアルタイムストラテジーゲームやシミュレーターは、作戦計画や軍事研究において貴重な資源となりました。しかし、近年の研究で、このような学習ベースのアプローチは敵対的摂動に非常に脆弱であることが示されています。本論文では、能動的な敵対者に制御された環境でコマンド・アンド・コントロール任務に対して訓練されたエージェントの堅牢性を調査します。C2エージェントは、最先端のRLアルゴリズムであるA3CおよびPPOを用いてカスタムのStarCraft IIマップ上で訓練されました。我々はこれらのアルゴリズムで訓練されたエージェントが敵対者によって注入されたノイズに非常に脆弱であることを実証的に示し、これらの摂動が訓練されたエージェントの性能に与える影響を調査しました。我々の研究は、特に戦場のような重要な領域向けに、より堅牢な訓練アルゴリズムの開発が急務であることを強調しています。