Theorie zu Mixture-of-Experts im Continual Learning

Continual Learning (CL) hat aufgrund seiner Fähigkeit, sich an neue Aufgaben anzupassen, die im Laufe der Zeit hinzukommen, große Aufmerksamkeit erhalten. Katastrophales Vergessen (alter Aufgaben) wurde als zentrales Problem im CL identifiziert, wenn das Modell sich an neue Aufgaben anpasst. Das Mixture-of-Experts (MoE)-Modell hat kürzlich gezeigt, dass es katastrophales Vergessen im CL effektiv mindern kann, indem es ein Gating-Netzwerk verwendet, um diverse Aufgaben zu sparsifizieren und auf mehrere Experten zu verteilen. Es fehlt jedoch an theoretischer Analyse von MoE und dessen Einfluss auf die Lernleistung im CL. Dieses Papier liefert die ersten theoretischen Ergebnisse, um die Auswirkungen von MoE im CL unter Betrachtung überparametrisierter linearer Regressionaufgaben zu charakterisieren. Wir belegen den Vorteil von MoE gegenüber einem einzelnen Experten, indem wir zeigen, dass das MoE-Modell seine Experten diversifizieren kann, um sich auf unterschiedliche Aufgaben zu spezialisieren, während der Router lernt, für jede Aufgabe den richtigen Experten auszuwählen und die Lasten über alle Experten zu balancieren. Unsere Studie deutet ferner darauf hin, dass das MoE im CL das Update des Gating-Netzwerks nach ausreichenden Trainingsrunden beenden muss, um Systemkonvergenz zu erreichen – was in bestehenden MoE-Studien ohne Berücksichtigung des kontinuierlichen Eintreffens von Aufgaben nicht erforderlich ist. Zudem geben wir explizite Ausdrücke für das erwartete Vergessen und den allgemeinen Generalisierungsfehler an, um den Nutzen von MoE bezüglich der Lernleistung im CL zu charakterisieren. Interessanterweise erfordert das Hinzufügen weiterer Experten zusätzliche Runden vor der Konvergenz, was die Lernleistung nicht unbedingt verbessert. Abschließend führen wir Experimente mit synthetischen und realen Datensätzen durch, um diese Erkenntnisse von linearen Modellen auf tiefe neuronale Netze (DNNs) zu übertragen, was auch Hinweise auf das praktische Algorithmendesign für MoE im CL gibt.