Key points are not available for this paper at this time.
Les systèmes de compréhension de lecture extractive peuvent souvent localiser la bonne réponse à une question dans un document contextuel, mais ils ont aussi tendance à faire des suppositions peu fiables sur des questions dont la réponse correcte n'est pas mentionnée dans le contexte. Les jeux de données existants se concentrent soit exclusivement sur des questions répondables, soit utilisent des questions non répondables générées automatiquement et faciles à identifier. Pour pallier ces faiblesses, nous présentons SQUADRUN, un nouveau jeu de données qui combine le Stanford Question Answering Dataset (SQuAD) existant avec plus de 50 000 questions non répondables rédigées de manière adversariale par des travailleurs de foule pour ressembler à des questions répondables. Pour bien réussir sur SQUADRUN, les systèmes doivent non seulement répondre aux questions quand c'est possible, mais aussi déterminer quand aucune réponse n’est soutenue par le paragraphe et s’abstenir de répondre. SQUADRUN est une tâche difficile de compréhension du langage naturel pour les modèles existants : un système neuronal performant obtenant 86 % de F1 sur SQuAD n'atteint que 66 % de F1 sur SQUADRUN. Nous publions SQUADRUN à la communauté comme successeur de SQuAD.
Building similarity graph...
Analyzing shared references across papers
Loading...
Pranav Rajpurkar
Robin Jia
Percy Liang
Stanford University
Building similarity graph...
Analyzing shared references across papers
Loading...
Rajpurkar et al. (Mon,) ont étudié cette question.
www.synapsesocial.com/papers/69dd6697c5e71f7918100f24 — DOI: https://doi.org/10.18653/v1/p18-2124
Synapse has enriched 5 closely related papers on similar clinical questions. Consider them for comparative context: