Eine strukturierte selbstaufmerksame Satz-Einbettung

Dieses Papier schlägt ein neues Modell zur Gewinnung einer interpretierbaren Satzeinbettung durch Einführung von Selbstaufmerksamkeit vor. Anstatt einen Vektor zu verwenden, nutzen wir eine 2-D-Matrix, wobei jede Zeile der Matrix auf einen anderen Teil des Satzes achtet. Wir schlagen außerdem einen Selbstaufmerksamkeitsmechanismus und einen speziellen Regularisierungsterm für das Modell vor. Ein Nebeneffekt ist, dass die Einbettung eine einfache Visualisierung ermöglicht, welche spezifischen Satzteile in die Einbettung kodiert werden. Wir evaluieren unser Modell in drei verschiedenen Aufgaben: Autorenprofilierung, Sentimentklassifikation und textuelle Schlussfolgerung. Die Ergebnisse zeigen, dass unser Modell im Vergleich zu anderen Methoden der Satzeinbettung in allen drei Aufgaben eine signifikante Leistungssteigerung erzielt.