Generate-then-Ground in der Retrieval-Augmented Generation für Multi-Hop-Fragenbeantwortung

Multi-Hop-Fragenbeantwortungsaufgaben (MHQA) stellen aufgrund des intensiven Wissensbedarfs eine große Herausforderung für große Sprachmodelle (LLMs) dar. Aktuelle Lösungen, wie Retrieval-Augmented Generation, rufen typischerweise potenzielle Dokumente aus einem externen Korpus ab, um eine Antwort zu lesen. Die Leistung dieses Retrieve-then-Read-Paradigmas ist jedoch durch den Retriever und das unvermeidliche Rauschen in den abgerufenen Dokumenten begrenzt. Um diese Herausforderungen zu mildern, führen wir einen neuartigen Generate-then-Ground (GenGround)-Rahmen ein, der das parametrische Wissen von LLMs und externe Dokumente synergetisch kombiniert, um eine Multi-Hop-Frage zu lösen. GenGround ermöglicht es LLMs, zwei Phasen abwechselnd durchzuführen, bis die endgültige Antwort abgeleitet ist: (1) Formuliere eine einfachere, Single-Hop-Frage und generiere direkt die Antwort; (2) Verankere das Frage-Antwort-Paar in den abgerufenen Dokumenten und korrigiere eventuelle falsche Vorhersagen in der Antwort. Wir schlagen außerdem eine instruktionsbasierte Grounding-Distillation-Methode vor, um unsere Methode auf kleinere Modelle zu übertragen. Umfangreiche Experimente auf vier Datensätzen zeigen die Überlegenheit unserer Methode.