Glove : vecteurs globaux pour la représentation des mots

Les méthodes récentes d'apprentissage des représentations vectorielles des mots ont réussi à capturer des régularités sémantiques et syntaxiques fines grâce à l'arithmétique vectorielle, mais l'origine de ces régularités est restée opaque. Nous analysons et explicitons les propriétés du modèle nécessaires à l'émergence de telles régularités dans les vecteurs de mots. Le résultat est un nouveau modèle de régression log-bilinéaire global qui combine les avantages des deux grandes familles de modèles dans la littérature : la factorisation matricielle globale et les méthodes de fenêtre de contexte locale. Notre modèle exploite efficacement l'information statistique en ne s'entraînant que sur les éléments non nuls d'une matrice de co-occurrence mot-mot, plutôt que sur la matrice creuse entière ou sur des fenêtres de contexte individuelles dans un grand corpus. Le modèle produit un espace vectoriel avec une sous-structure significative, comme en témoigne sa performance de 75 % sur une tâche récente d'analogie de mots. Il surpasse également les modèles similaires sur les tâches de similarité et la reconnaissance d'entités nommées. 1