Analyse des Generalisierungsfehlers für Sparse Mixture-of-Experts: Eine vorläufige Studie

Mixture-of-Experts (MoE) stellt eine Ensemble-Methode dar, die Vorhersagen mehrerer spezialisierter Teilmodelle (Experten) kombiniert. Diese Fusion wird durch einen Router-Mechanismus erreicht, der die Beiträge der einzelnen Experten basierend auf den Eingangsdaten dynamisch gewichtet. Konventionelle MoE-Mechanismen wählen alle verfügbaren Experten aus, was erhebliche Rechenkosten verursacht. Im Gegensatz dazu aktiviert Sparse Mixture-of-Experts (Sparse MoE) nur eine begrenzte Anzahl oder sogar nur einen Experten, wodurch der Rechenaufwand erheblich reduziert wird, während die Leistung empirisch erhalten bleibt oder sogar verbessert wird. Trotz ihrer breit gefächerten Anwendungen und dieser vorteilhaften Eigenschaften sind die theoretischen Grundlagen von MoE bislang unklar. In dieser Arbeit untersuchen wir den Generalisierungsfehler von Sparse MoE im Hinblick auf verschiedene kritische Faktoren. Insbesondere analysieren wir den Einfluss der Anzahl der Datenproben, der Gesamtzahl der Experten, der Sparsamkeit bei der Expertenauswahl, der Komplexität des Routing-Mechanismus und der Komplexität einzelner Experten. Unsere Analyse zeigt auf, wie Sparsamkeit zur Generalisierung von MoE beiträgt, und bietet Einsichten aus Sicht der klassischen Lerntheorie.