Fortschritte bei der Optimierung rekurrenter Netzwerke

Nach einer mehr als zehnjährigen Periode mit relativ wenig Forschungsaktivität im Bereich der rekurrenten neuronalen Netzwerke werden hier mehrere neue Entwicklungen vorgestellt, die sowohl im Verständnis als auch in technischen Lösungen für eine effizientere Trainingsmethode rekurrenter Netzwerke erheblichen Fortschritt ermöglicht haben. Diese Fortschritte wurden durch und in Zusammenhang mit den Optimierungsproblemen im Bereich des Deep Learning motiviert. Obwohl rekurrente Netzwerke in der Lage sind, prinzipiell sehr komplexe Abfolgen zu modellieren, ist ihr Training durch zwei Aspekte desselben Problems bezüglich des Lernens langfristiger Abhängigkeiten erschwert. Hier berichtete Experimente evaluieren den Einsatz von Gradient Clipping, das Abdecken längerer Zeiträume mittels Leaky Integration, fortschrittliche Momentum-Techniken, den Einsatz leistungsfähigerer Modelle für Ausgabewahrscheinlichkeiten sowie das Fördern spärlicherer Gradienten, um Symmetriebruch und Zuordnung von Lernbeiträgen zu unterstützen. Die Experimente wurden an Text- und Musikdaten durchgeführt und zeigen die kombinierten Effekte dieser Techniken, die sowohl Trainings- als auch Testfehler allgemein verbessern.