NewsQA: Ein Datensatz zum maschinellen Textverständnis

Wir präsentieren NewsQA, einen herausfordernden Datensatz zum maschinellen Textverständnis mit über 100.000 von Menschen generierten Frage-Antwort-Paaren. Crowdworker stellen Fragen und Antworten basierend auf über 10.000 Nachrichtenartikeln von CNN bereit, wobei die Antworten Textabschnitte aus den Artikeln enthalten. Wir erheben diesen Datensatz durch einen vierstufigen Prozess, der darauf ausgelegt ist, explorative Fragen zu generieren, die Schlussfolgerungen erfordern. Die Analyse bestätigt, dass NewsQA Fähigkeiten verlangt, die über einfache Wortübereinstimmungen und das Erkennen von Textimplikationen hinausgehen. Wir messen die menschliche Leistung auf dem Datensatz und vergleichen sie mit mehreren starken neuronalen Modellen. Die Leistungslücke zwischen Menschen und Maschinen (13,3 % F1) zeigt, dass durch zukünftige Forschung erhebliche Fortschritte auf NewsQA erzielt werden können. Der Datensatz ist online frei verfügbar.