一种结构化的自注意力句子嵌入

本文通过引入自注意力机制，提出了一种用于提取可解释句子嵌入的新模型。我们不使用向量，而是使用二维矩阵来表示嵌入，矩阵的每一行关注句子的不同部分。我们还提出了一种自注意力机制和专门的正则化项。作为附带效果，该嵌入提供了一种简便方式，可视化句子的哪些具体部分被编码进了嵌入。我们在三项不同任务上评估了模型：作者画像、情感分类和文本蕴涵。结果显示，我们的模型在这三项任务中相比其他句子嵌入方法获得了显著的性能提升。