Während des Trainings werden die Parameter neuronaler Netze hinsichtlich einer Verlustfunktion optimiert. Einige Varianten neuronaler Netze sind mit mehreren unterschiedlichen Zielen konzipiert, darunter Generative Adversarial Networks (GAN) mit Generator- und Diskriminator-Komponenten sowie neuronale Netze, die Regularisierungskomponenten verwenden. Diese Ziele werden in Form mehrerer Lossfunktionen ausgedrückt, die während des Trainings kombiniert werden müssen. In der Regel werden diese Losskomponenten durch Addition unter Verwendung von Gewichtungsfaktoren kombiniert, die willkürlich gewählt oder durch Hyperparameter-Sweeping ermittelt werden können. In der Theorie gibt es Ansätze, die das Problem widersprüchlicher Lossfunktionen aus verschiedenen Perspektiven betrachten, wie z. B. Multi-Objective Deep Learning, Nullsummenspiele und Optimierung mit Nebenbedingungen. Diese Arbeit untersucht, wie etablierte Methoden aus der aktuellen Praxis mit der Theorie verknüpft werden können und wie die verschiedenen Ansätze miteinander verwandt sind. Es wird ein Framework entwickelt, um verschiedene Optimierungsstrategien für moderne Deep-Learning-Probleme zu bewerten.
Niklas Deckers (Tue,) studied this question.