Savoir ce que vous ne savez pas : questions sans réponse pour SQuAD

Les systèmes de compréhension de lecture extractive peuvent souvent localiser la bonne réponse à une question dans un document contextuel, mais ils ont aussi tendance à faire des suppositions peu fiables sur des questions dont la réponse correcte n'est pas mentionnée dans le contexte. Les jeux de données existants se concentrent soit exclusivement sur des questions répondables, soit utilisent des questions non répondables générées automatiquement et faciles à identifier. Pour pallier ces faiblesses, nous présentons SQUADRUN, un nouveau jeu de données qui combine le Stanford Question Answering Dataset (SQuAD) existant avec plus de 50 000 questions non répondables rédigées de manière adversariale par des travailleurs de foule pour ressembler à des questions répondables. Pour bien réussir sur SQUADRUN, les systèmes doivent non seulement répondre aux questions quand c'est possible, mais aussi déterminer quand aucune réponse n’est soutenue par le paragraphe et s’abstenir de répondre. SQUADRUN est une tâche difficile de compréhension du langage naturel pour les modèles existants : un système neuronal performant obtenant 86 % de F1 sur SQuAD n'atteint que 66 % de F1 sur SQUADRUN. Nous publions SQUADRUN à la communauté comme successeur de SQuAD.