InPars: Datenaugmentation für die Informationsrückgewinnung mithilfe großer Sprachmodelle

Die Informations­rückgewinnungs­gemeinschaft hat kürzlich eine Revolution durch große vortrainierte Transformermodelle erlebt. Ein weiterer wesentlicher Faktor für diese Revolution war der MS MARCO Datensatz, dessen Umfang und Vielfalt ein Zero-Shot Transferlernen für verschiedenste Aufgaben ermöglicht haben. Allerdings können nicht alle IR-Aufgaben und -Domänen gleichermaßen von einem einzigen Datensatz profitieren. Umfangreiche Forschungen in verschiedenen NLP-Aufgaben haben gezeigt, dass die Verwendung domänenspezifischer Trainingsdaten gegenüber allgemeinen Trainingsdaten die Leistung neuronaler Modelle verbessert. In dieser Arbeit nutzen wir die Few-Shot-Fähigkeiten großer vortrainierter Sprachmodelle als synthetische Datengeneratoren für IR-Aufgaben. Wir zeigen, dass Modelle, die ausschließlich auf unserem unüberwachten Datensatz feinabgestimmt sind, starke Baselines wie BM25 sowie kürzlich vorgeschlagene selbstüberwachte dichte Retrieval-Methoden übertreffen. Darüber hinaus erzielen Retrieval-Modelle, die sowohl auf überwachten als auch auf unseren synthetischen Daten feinabgestimmt wurden, eine bessere Zero-Shot-Übertragung als Modelle, die nur auf überwachten Daten feinabgestimmt wurden. Code, Modelle und Daten sind verfügbar unter https://github.com/zetaalphavector/inpars.