Bidirektionaler Aufmerksamkeitsfluss für maschinelles Textverständnis

Maschinelles Textverständnis (MC), das Beantworten einer Frage zu einem gegebenen Kontextabschnitt, erfordert die Modellierung komplexer Interaktionen zwischen Kontext und Frage. Kürzlich wurden Aufmerksamkeitsmechanismen erfolgreich auf MC ausgeweitet. Typischerweise nutzen diese Methoden Aufmerksamkeit, um sich auf einen kleinen Teil des Kontexts zu konzentrieren und diesen mit einem Vektor fester Größe zusammenzufassen, koppeln Aufmerksamkeiten zeitlich und/oder bilden häufig eine unidirektionale Aufmerksamkeit. In diesem Artikel stellen wir das Bi-Directionale Aufmerksamkeitsfluss (BIDAF)-Netzwerk vor, einen mehrstufigen hierarchischen Prozess, der den Kontext auf unterschiedlichen Granularitätsebenen repräsentiert und einen bidirektionalen Aufmerksamkeitsfluss-Mechanismus verwendet, um eine kontextrepräsentation zu erhalten, die frageabhängig ist, ohne eine frühe Zusammenfassung. Unsere experimentellen Auswertungen zeigen, dass unser Modell in den Datensätzen Stanford Question Answering Dataset (SQuAD) und CNN/DailyMail Cloze-Test die besten Ergebnisse erzielt.