Robuste Steuerungsrichtlinien durch Deep Reinforcement Learning

Leitsysteme für unbemannte Luftfahrzeuge (UAV) müssen auch bei erheblichen Unsicherheiten wie Sensorsignalrauschen, Zielmanövern und Umwelteinflüssen zuverlässig funktionieren. Traditionelle Steuerungsmethoden wie die proportionale Navigation (PN), obwohl recheneffizient, haben häufig Schwierigkeiten, unter solchen anspruchsvollen Bedingungen die Leistung aufrechtzuerhalten. Zur Überwindung dieser Einschränkungen schlägt diese Studie ein robustes UAV-Steuerungsframework auf Basis von Deep Reinforcement Learning (DRL) vor, wobei speziell der Soft Actor–Critic (SAC)-Algorithmus eingesetzt wird. Das UAV-Zielverfolgungsproblem wird als Markov-Entscheidungsprozess (MDP) sowohl für zweidimensionale (2D) als auch dreidimensionale (3D) Szenarien formuliert. Eine tiefen neuronalen Netz-Policy wird in verrauschten Umgebungen trainiert, um Beschleunigungskommandos zu generieren, die das Zero-Effort Miss (ZEM) minimieren. Umfangreiche numerische Simulationen, durchgeführt mit OpenAI Gym, validieren die Wirksamkeit der vorgeschlagenen Methode unter bisher unbekannten Anfangsbedingungen und erhöhten Rauschpegeln. Die Ergebnisse zeigen, dass die SAC-basierte Policy höhere Erfolgsraten bei der Verfolgung erzielt als die PN, insbesondere unter strengen Endbedingungen und Beobachtungsrauschen.