단어와 구의 분산 표현 및 조합성

최근 도입된 연속 Skip-gram 모델은 많은 정밀한 구문 및 의미론적 단어 관계를 포착하는 고품질 분산 벡터 표현을 학습하는 효율적인 방법입니다. 본 논문에서는 벡터의 품질과 학습 속도를 모두 향상시키는 여러 확장 방법을 제시합니다. 빈번한 단어의 서브샘플링을 통해 상당한 속도 향상과 더 규칙적인 단어 표현 학습을 얻습니다. 또한 계층적 소프트맥스의 간단한 대안인 네거티브 샘플링을 설명합니다. 단어 표현의 내재적 한계는 단어 순서에 무관심하며 관용구를 표현하지 못하는 점입니다. 예를 들어 "Canada"와 "Air"의 의미를 쉽게 결합하여 "Air Canada"를 얻을 수 없습니다. 이 예에 영감을 받아 텍스트에서 구를 찾는 간단한 방법을 제시하며, 수백만 구에 대한 우수한 벡터 표현 학습이 가능함을 보여줍니다.