Glove: 単語表現のためのグローバルベクトル

単語のベクトル空間表現を学習する最近の方法は、ベクトル演算を用いて細かい意味的および統語的規則性の把握に成功していますが、これらの規則性の起源は明らかではありませんでした。私たちはこれらの規則性が単語ベクトルに現れるために必要なモデル特性を解析し明示化します。その結果、文献中の２つの主要なモデルファミリーであるグローバルな行列分解と局所的なコンテキストウィンドウ法の利点を組み合わせた新しいグローバルな対数双線形回帰モデルが得られました。本モデルは、大規模コーパス内の個々のコンテキストウィンドウや全ての非零以外の単語-単語共起行列の要素ではなく、単語-単語共起行列の非零要素のみに基づき効率的に統計的情報を活用します。このモデルは、最近の単語類推タスクで75％の性能を示し、有意な部分構造を持つベクトル空間を生成します。また、類似度タスクや固有表現認識において関連モデルよりも優れた実績を持ちます。 1