Ist ChatGPT gut bei der Suche? Untersuchung großer Sprachmodelle als Agenten zur Neu-Rangierung

Große Sprachmodelle (Large Language Models, LLMs) haben eine bemerkenswerte Zero-Shot-Generalisation bei verschiedenen sprachbezogenen Aufgaben, einschließlich Suchmaschinen, gezeigt. Bestehende Arbeiten nutzen jedoch die generativen Fähigkeiten von LLMs für die Informationssuche (Information Retrieval, IR) und nicht die direkte Passage-Rangierung. Die Diskrepanz zwischen den Vortrainingszielen der LLMs und dem Ziel der Rangierung stellt eine weitere Herausforderung dar. In dieser Arbeit untersuchen wir zunächst generative LLMs wie ChatGPT und GPT-4 für die Relevanzrangierung im IR. Überraschenderweise zeigen unsere Experimente, dass korrekt instruierte LLMs wettbewerbsfähige und sogar bessere Ergebnisse als State-of-the-Art überwachter Methoden auf beliebten IR-Benchmarks erzielen können. Darüber hinaus erheben wir zur Vermeidung von Datenkontamination bei LLMs einen neuen Testsatz namens NovelEval, basierend auf dem aktuellsten Wissen und mit dem Ziel, die Fähigkeit des Modells zur Rangierung unbekannten Wissens zu überprüfen. Schließlich analysieren wir zur Effizienzsteigerung in realen Anwendungen das Potenzial, die Rangierfähigkeiten von ChatGPT mittels eines Permutationsdistillationsschemas in kleine spezialisierte Modelle zu distillieren. Unsere Evaluierung zeigt, dass ein distilliertes 440M-Modell ein 3B überwachtes Modell auf dem BEIR-Benchmark übertrifft. Der Code zur Reproduktion unserer Ergebnisse ist verfügbar unter www.github.com/sunnweiwei/RankGPT.