Una comparación sistemática de varios modelos estadísticos de alineación

Presentamos y comparamos varios métodos para calcular alineamientos de palabras usando modelos estadísticos o heurísticos. Consideramos los cinco modelos de alineación presentados en Brown, Della Pietra, Della Pietra y Mercer (1993), el modelo de alineación oculto de Markov, técnicas de suavizado y refinamientos. Estos modelos estadísticos se comparan con dos modelos heurísticos basados en el coeficiente Dice. Presentamos diferentes métodos para combinar alineamientos de palabras para realizar una simetrización de modelos estadísticos de alineación dirigidos. Como criterio de evaluación, usamos la calidad del alineamiento Viterbi resultante comparado con un alineamiento de referencia producido manualmente. Evaluamos los modelos en la tarea alemán-inglés de Verbmobil y en la tarea francés-inglés de Hansards. Realizamos un análisis detallado de varias decisiones de diseño de nuestro sistema estadístico de alineación y las evaluamos en corpus de entrenamiento de varios tamaños. Un resultado importante es que los modelos de alineación refinados con una dependencia de primer orden y un modelo de fertilidad producen resultados significativamente mejores que modelos heurísticos simples. En el Apéndice, presentamos un algoritmo de entrenamiento eficiente para los modelos de alineación presentados.