Aprendizado de Representações de Frases usando RNN Encoder-Decoder para Tradução Automática Estatística

Neste artigo, propomos um novo modelo de rede neural chamado RNN Encoder-Decoder que consiste em duas redes neurais recorrentes (RNN). Uma RNN codifica uma sequência de símbolos em uma representação vetorial de comprimento fixo, e a outra decodifica essa representação em outra sequência de símbolos. O codificador e o decodificador do modelo proposto são treinados conjuntamente para maximizar a probabilidade condicional de uma sequência alvo dado uma sequência fonte. Foi constatado empiricamente que o desempenho de um sistema de tradução automática estatística melhora ao utilizar as probabilidades condicionais de pares de frases calculadas pelo RNN Encoder-Decoder como uma característica adicional no modelo log-linear existente. Qualitativamente, mostramos que o modelo proposto aprende uma representação semântica e sintaticamente significativa de frases linguísticas.