Effiziente Schätzung von Wortrepräsentationen im Vektorraum

Wir schlagen zwei neuartige Modellarchitekturen vor, um kontinuierliche Vektorrepräsentationen von Wörtern aus sehr großen Datensätzen zu berechnen. Die Qualität dieser Repräsentationen wird in einer Wortähnlichkeitsaufgabe gemessen, und die Ergebnisse werden mit den bisher besten Techniken verglichen, die auf verschiedenen Arten von neuronalen Netzen basieren. Wir beobachten große Verbesserungen der Genauigkeit bei deutlich geringerem Rechenaufwand, das heißt, es dauert weniger als einen Tag, hochwertige Wortvektoren aus einem Datensatz mit 1,6 Milliarden Wörtern zu lernen. Darüber hinaus zeigen wir, dass diese Vektoren auf unserem Testdatensatz Spitzenleistungen bei der Messung syntaktischer und semantischer Wortähnlichkeiten erbringen.