Una incrustación de oraciones auto-atentiva estructurada

Este artículo propone un nuevo modelo para extraer una incrustación de oraciones interpretable mediante la introducción de auto-atención. En lugar de usar un vector, utilizamos una matriz 2-D para representar la incrustación, con cada fila de la matriz enfocándose en una parte diferente de la oración. También proponemos un mecanismo de auto-atención y un término de regularización especial para el modelo. Como efecto secundario, la incrustación viene con una forma fácil de visualizar qué partes específicas de la oración están codificadas en la incrustación. Evaluamos nuestro modelo en 3 tareas diferentes: perfilado de autores, clasificación de sentimientos y entailment textual. Los resultados muestran que nuestro modelo produce una mejora significativa en el rendimiento comparado con otros métodos de incrustación de oraciones en las 3 tareas.