Representações Distribuídas de Palavras e Frases e sua Composicionalidade

O modelo contínuo Skip-gram recentemente introduzido é um método eficiente para aprender representações vetoriais distribuídas de alta qualidade que capturam um grande número de relações sintáticas e semânticas precisas entre palavras. Neste artigo, apresentamos várias extensões que melhoram tanto a qualidade dos vetores quanto a velocidade de treinamento. Através da subamostragem das palavras frequentes, obtemos uma aceleração significativa e também aprendemos representações de palavras mais regulares. Também descrevemos uma alternativa simples ao softmax hierárquico chamada amostragem negativa. Uma limitação inerente das representações de palavras é sua indiferença à ordem das palavras e sua incapacidade de representar frases idiomáticas. Por exemplo, os significados de "Canada" e "Air" não podem ser facilmente combinados para obter "Air Canada". Motivados por este exemplo, apresentamos um método simples para encontrar frases no texto e mostramos que é possível aprender boas representações vetoriais para milhões de frases.