MentorNet: Lernen eines datengetriebenen Curriculums für sehr tiefe neuronale Netze bei fehlerhaften Labels

Moderne tiefe Netzwerke sind in der Lage, die gesamte Datenmenge zu memorieren, selbst wenn die Labels völlig zufällig sind. Um das Überanpassen an fehlerhafte Labels zu überwinden, schlagen wir eine neuartige Technik vor, bei der ein weiteres neuronales Netzwerk, genannt MentorNet, das Training der Basis-Deep-Netzwerke, genannt StudentNet, überwacht. Während des Trainings stellt MentorNet ein Curriculum (eine Proben-Gewichtungsschema) für StudentNet bereit, damit es sich auf die Proben konzentriert, deren Label wahrscheinlich korrekt ist. Im Gegensatz zu bestehenden Curricula, die üblicherweise von menschlichen Experten vorgegeben werden, lernt MentorNet ein datengetriebenes Curriculum dynamisch gemeinsam mit StudentNet. Experimentelle Ergebnisse zeigen, dass unser Ansatz die Generalisierungsleistung von tiefen Netzwerken, die auf fehlerhaften Trainingsdaten trainiert wurden, signifikant verbessern kann. Bemerkenswerterweise erzielen wir nach unserem besten Wissen das beste veröffentlichte Ergebnis auf WebVision, einem großen Benchmark mit 2,2 Millionen Bildern mit realweltlichen, verrauschten Labels. Der Code ist verfügbar unter https://github.com/google/mentornet