Lernen tiefer Repräsentationen durch Schätzung und Maximierung der gegenseitigen Information

In dieser Arbeit führen wir unbeaufsichtigtes Lernen von Repräsentationen durch, indem wir die gegenseitige Information zwischen einem Eingang und dem Ausgang eines tiefen neuronalen Netzwerkencoders maximieren. Wichtig ist, dass wir zeigen, dass Struktur eine Rolle spielt: Die Einbeziehung von Wissen über die Lokalität des Eingangs in das Ziel kann die Eignung einer Repräsentation für nachgelagerte Aufgaben erheblich beeinflussen. Darüber hinaus steuern wir Eigenschaften der Repräsentation, indem wir adversarial an eine Priorverteilung anpassen. Unsere Methode, die wir Deep InfoMax (DIM) nennen, übertrifft eine Reihe beliebter Methoden des unbeaufsichtigten Lernens und konkurriert bei mehreren Klassifizierungsaufgaben mit vollständig beaufsichtigtem Lernen. DIM eröffnet neue Wege für das unbeaufsichtigte Lernen von Repräsentationen und ist ein wichtiger Schritt hin zu flexiblen Formulierungen von Zielen für das Repräsentationslernen mit spezifischen Endzielen.