Verteilte Darstellungen von Wörtern und Phrasen und ihre Zusammensetzbarkeit

Das kürzlich eingeführte kontinuierliche Skip-gram-Modell ist eine effiziente Methode zum Lernen hochwertiger verteilter Vektordarstellungen, die eine große Anzahl präziser syntaktischer und semantischer Wortbeziehungen erfassen. In diesem Artikel stellen wir mehrere Erweiterungen vor, die sowohl die Qualität der Vektoren als auch die Trainingsgeschwindigkeit verbessern. Durch das Subsampling der häufigen Wörter erreichen wir eine signifikante Beschleunigung und erlernen zudem regelmäßigere Wortdarstellungen. Wir beschreiben auch eine einfache Alternative zum hierarchischen Softmax, genannt negative sampling. Eine grundlegende Einschränkung von Wortdarstellungen ist ihre Gleichgültigkeit gegenüber der Wortreihenfolge und ihre Unfähigkeit, idiomatische Phrasen darzustellen. Zum Beispiel lassen sich die Bedeutungen von "Canada" und "Air" nicht leicht kombinieren, um "Air Canada" zu erhalten. Motiviert durch dieses Beispiel präsentieren wir eine einfache Methode zur Erkennung von Phrasen im Text und zeigen, dass es möglich ist, gute Vektordarstellungen für Millionen von Phrasen zu lernen.