FiD-Light: Effiziente und effektive retrieval-unterstützte Textgenerierung

Retrieval-unterstützte Generationsmodelle bieten gegenüber eigenständigen Sprachmodellen viele Vorteile: Neben einer textuellen Antwort auf eine gegebene Anfrage liefern sie auch Herkunftsbelege, die aus einer aktualisierbaren Wissensbasis abgerufen wurden. Allerdings sind sie auch komplexere Systeme und müssen lange Eingaben verarbeiten können. In dieser Arbeit stellen wir FiD-Light vor, um die Effizienz des aktuellen retrieval-augmentierten FiD-Modells stark zu erhöhen, während das gleiche Effektivitätsniveau beibehalten wird. Unser FiD-Light-Modell beschränkt den Informationsfluss vom Encoder (der Passagen getrennt kodiert) zum Decoder (der die kodierten Darstellungen zusammenfügt). Außerdem passen wir FiD-Light mit Re-Ranking-Fähigkeiten durch textuelle Quellenverweise an, um die Präzision der am höchsten bewerteten Herkunftsnachweise zu verbessern. Unsere Experimente an einer vielfältigen Auswahl von sieben wissensintensiven Aufgaben (KILT) zeigen, dass FiD-Light konsequent die Pareto-Grenze zwischen Abfrage-Latenz und Effektivität verbessert. FiD-Light mit Quellenverweisen erzielt substantielle neue Bestleistungen bei sechs KILT-Aufgaben für die kombinierte Bewertung von Textgenerierung und Herkunftsrückverfolgung und bewahrt dabei eine hohe Effizienz.