Traducción Multilingüe de Voz de Punto a Punto

En este artículo, proponemos un marco simple pero efectivo para la traducción de voz multilingüe de extremo a extremo (ST), en el cual las expresiones habladas en idiomas fuente se traducen directamente a los idiomas objetivo deseados con una arquitectura universal de secuencia a secuencia. Si bien los modelos multilingües han demostrado ser útiles para el reconocimiento automático de voz (ASR) y la traducción automática (MT), es la primera vez que se aplican al problema de la traducción ST de extremo a extremo. Mostramos la efectividad de la traducción ST multilingüe de extremo a extremo en dos escenarios: traducciones de uno a muchos y de muchos a muchos con datos disponibles públicamente. Confirmamos experimentalmente que los modelos ST multilingües de extremo a extremo superan significativamente a los modelos bilingües en ambos escenarios. La generalización del entrenamiento multilingüe también se evalúa en un escenario de aprendizaje por transferencia a un par de idiomas con muy pocos recursos. Todos nuestros códigos y la base de datos están disponibles públicamente para fomentar investigaciones adicionales en este emergente tema de traducción ST multilingüe 11 Disponible en https://github.com/espnet/espnet..