关于使用非常大的目标词汇表进行神经机器翻译

神经机器翻译是一种最近提出的纯基于神经网络的机器翻译方法，与短语基统计机器翻译等现有方法相比，显示出有希望的结果。尽管取得了近期成功，神经机器翻译在处理较大词汇表时存在限制，因为训练复杂度和解码复杂度都与目标词数量成比例增加。本文提出了一种基于重要性采样的方法，使我们能够使用非常大的目标词汇表而不增加训练复杂度。我们表明，即使模型具有非常大的目标词汇表，通过仅选择目标词汇表中的一个小子集也能高效进行解码。实验证明，所提出方法训练的模型在表现上优于具有小词汇表的基线模型以及基于LSTM的神经机器翻译模型。此外，当我们使用几个拥有非常大目标词汇表的模型集成时，在英->德翻译上达到最先进的翻译性能（以BLEU衡量），并且几乎达到最先进的英->法翻译系统的性能水平。