Glove：全局词向量表示

近年来，学习词向量空间表示的方法成功捕捉了细粒度的语义和句法规律，通过向量运算实现，但这些规律的来源尚不清晰。我们分析并明确了词向量中出现这些规律所需的模型属性。结果是一种新的全局对数双线性回归模型，结合了文献中两大主要模型家族的优点：全局矩阵分解与局部上下文窗口方法。我们的模型通过仅对词-词共现矩阵中的非零元素进行训练，而非对整个稀疏矩阵或大型语料库中的单个上下文窗口训练，有效利用了统计信息。该模型生成的向量空间具备有意义的子结构，最近一次词类比任务中表现达75%。此外，它在相似度任务和命名实体识别中也超过了相关模型。