RACE: Conjunto de Dados em Grande Escala para Compreensão de Leitura a partir de Exames

Apresentamos o RACE, um novo conjunto de dados para avaliação de referência de métodos na tarefa de compreensão de leitura. Coletado a partir dos exames de inglês para estudantes chineses do ensino médio e fundamental na faixa etária entre 12 e 18 anos, o RACE consiste em quase 28.000 passagens e cerca de 100.000 perguntas geradas por especialistas humanos (professores de inglês), e abrange uma variedade de tópicos cuidadosamente elaborados para avaliar a capacidade dos estudantes em compreensão e raciocínio. Em particular, a proporção de perguntas que exigem raciocínio é muito maior no RACE do que em outros conjuntos de dados de referência para compreensão de leitura, e existe uma lacuna significativa entre o desempenho dos modelos de ponta (43%) e o desempenho máximo humano (95%). Esperamos que este novo conjunto de dados possa servir como um recurso valioso para pesquisa e avaliação em compreensão de máquinas.