RACE: Conjunto de Datos a Gran Escala para Comprensión de Lectura a partir de Exámenes

Presentamos RACE, un nuevo conjunto de datos para la evaluación de referencia de métodos en la tarea de comprensión lectora. Recopilado de los exámenes de inglés para estudiantes chinos de secundaria y preparatoria en el rango de edad entre 12 y 18 años, RACE consiste en cerca de 28,000 pasajes y cerca de 100,000 preguntas generadas por expertos humanos (instructores de inglés), y abarca una variedad de temas cuidadosamente diseñados para evaluar la capacidad de los estudiantes en comprensión y razonamiento. En particular, la proporción de preguntas que requieren razonamiento es mucho mayor en RACE que en otros conjuntos de datos de referencia para la comprensión lectora, y existe una brecha significativa entre el desempeño de los modelos más avanzados (43%) y el rendimiento máximo humano (95%). Esperamos que este nuevo conjunto de datos sirva como un recurso valioso para la investigación y evaluación en comprensión automática.