Kombinierter Knowledge-Distillation-Rahmen: Wissensbarrieren überwinden

Knowledge Distillation, eine der prominentesten Methoden in der Modellkompression, hat erfolgreich kleine Modellgrößen mit hoher Leistung in Einklang gebracht. Es wurde jedoch beobachtet, dass sich Knowledge Distillation überwiegend darauf konzentriert, Wissen aus dem Datensatz und externes Wissen, das vom Lehrer vermittelt wird, zu erwerben. Im Gegensatz dazu beschäftigt sich Self-Distillation mit der Nutzung des internen Wissens des Netzwerks. Keine der beiden Ansätze erschöpft das Potenzial des Wissens vollständig. Daher stellt dieses Papier den kombinierten Knowledge-Distillation-Rahmen vor, der Knowledge Distillation mit Self-Distillation kombiniert. Innerhalb dieses Rahmens führen wir mehrere flache Klassifikatoren ein, kombiniert mit einem Aufmerksamkeitsmodul, um internes und externes Wissen zu nutzen und die Effizienz der Wissensnutzung des Netzwerks zu verbessern. Experimentelle Ergebnisse zeigen, dass durch umfassende Nutzung des Netzwerkwissens die Distillationseffektivität verbessert werden kann, was zu weiteren Genauigkeitssteigerungen des Netzwerks führt. Zusätzlich haben wir den Rahmen auf leichte neuronale Netzwerke mit Gruppenkonvolution angewandt, wobei der Rahmen weiterhin außergewöhnlich gute Leistungen erbringt.