Aktives Lernen für die steuerungsorientierte Identifikation nichtlinearer Systeme

Modellbasiertes Reinforcement Learning ist ein effektiver Ansatz zur Steuerung eines unbekannten Systems. Es basiert auf einer langjährig bewährten Vorgehensweise, die in der Steuerungsgemeinschaft bekannt ist: Man führt Experimente an der Umgebung durch, um einen Datensatz zu sammeln, verwendet den resultierenden Datensatz zur Identifikation eines Modells des Systems und führt schließlich die Steuerungssynthese mithilfe des identifizierten Modells durch. Da die Interaktion mit dem System kostspielig und zeitaufwendig sein kann, ist gezielte Exploration entscheidend, um ein effizientes, steuerungsorientiertes Modell mit minimalem Experimentaufwand zu entwickeln. Angesichts dieser Herausforderung haben jüngste Arbeiten begonnen, die Anforderungen an endliche Stichprobengrößen und stichprobeneffiziente Algorithmen für das Problem der optimalen Exploration im modellbasierten Reinforcement Learning zu untersuchen. Bestehende Theorien und Algorithmen sind jedoch auf Modellklassen beschränkt, die linear in den Parametern sind. Unsere Arbeit konzentriert sich stattdessen auf Modelle mit nichtlinearer Parameterabhängigkeit und stellt die erste Analyse endlicher Stichproben einer aktiven Lernstrategie vor, die für eine allgemeine Klasse nichtlinearer Dynamiken geeignet ist. In bestimmten Szenarien erreicht die überschüssige Steuerkostenrate unseres Algorithmus die optimale Rate, bis auf logarithmische Faktoren. Wir validieren unseren Ansatz in Simulationen und demonstrieren den Vorteil aktiver, steuerungsorientierter Exploration bei der Steuerung nichtlinearer Systeme.