Ein effizienter gradientenbasierter Algorithmus für das Online-Training von Trajektorien rekurrenter Netzwerke

Eine neuartige Variante des bekannten Backpropagation-durch-Zeit-Ansatzes zum Training rekurrenter Netzwerke wird beschrieben. Dieser Algorithmus ist für beliebige rekurrente Netzwerke gedacht, die kontinuierlich laufen, ohne jemals auf einen Anfangszustand zurückgesetzt zu werden, und wurde speziell für eine recheneffiziente Computer-Implementierung entwickelt. Dieser Algorithmus kann als eine Kreuzung zwischen epochaler Backpropagation durch Zeit, die für kontinuierlich laufende Netzwerke nicht geeignet ist, und der weit verbreiteten Online-Gradienten-Näherungstechnik der abgeschnittenen Backpropagation durch Zeit betrachtet werden.