Glove: Vectores Globales para la Representación de Palabras

Métodos recientes para aprender representaciones en espacio vectorial de palabras han logrado capturar regularidades semánticas y sintácticas finamente detalladas mediante aritmética vectorial, pero el origen de estas regularidades ha permanecido opaco. Analizamos y explicitamos las propiedades del modelo necesarias para que tales regularidades emerjan en los vectores de palabras. El resultado es un nuevo modelo global de regresión log-bilineal que combina las ventajas de las dos principales familias de modelos en la literatura: factorización global de matrices y métodos locales de ventana de contexto. Nuestro modelo aprovecha eficazmente la información estadística entrenando solo con los elementos no nulos en una matriz de co-ocurrencia palabra-palabra, en lugar de sobre la matriz dispersa completa o sobre ventanas de contexto individuales en un gran corpus. El modelo produce un espacio vectorial con una subestructura significativa, evidenciado por su desempeño del 75 % en una reciente tarea de analogía de palabras. También supera a modelos relacionados en tareas de similitud y reconocimiento de entidades nombradas. 1