ColBERT

Jüngste Fortschritte im Bereich des Natural Language Understanding (NLU) treiben schnelle Entwicklungen im Information Retrieval (IR) voran, die hauptsächlich auf die Feinabstimmung tiefgehender Sprachmodelle (LMs) zur Dokumentenbewertung zurückzuführen sind. Obwohl sie bemerkenswert effektiv sind, erhöhen die auf diesen LMs basierenden Ranking-Modelle die Rechenkosten um Größenordnungen gegenüber früheren Ansätzen, insbesondere da jedes Query-Dokument-Paar durch ein großes neuronales Netzwerk geleitet werden muss, um eine einzelne Relevanzbewertung zu berechnen. Um dem entgegenzuwirken, stellen wir ColBERT vor, ein neuartiges Ranking-Modell, das tiefe LMs (insbesondere BERT) für ein effizientes Retrieval anpasst. ColBERT führt eine Architektur mit verzögerter Interaktion ein, die die Anfrage und das Dokument unabhängig mit BERT enkodiert und dann einen kostengünstigen, aber leistungsfähigen Interaktionsschritt verwendet, der deren feinkörnige Ähnlichkeit modelliert. Indem diese feingranulare Interaktion verzögert, aber dennoch beibehalten wird, kann ColBERT die Ausdruckskraft tiefer LMs nutzen und gleichzeitig die Fähigkeit gewinnen, Dokumentrepräsentationen offline vorzukomputieren, was die Abfrageverarbeitung erheblich beschleunigt. Entscheidend ist, dass ColBERTs pruned-freundlicher Interaktionsmechanismus die Nutzung von Vektor-Ähnlichkeitsindizes für ein End-to-End-Retrieval direkt aus Millionen von Dokumenten ermöglicht. Wir evaluieren ColBERT umfassend anhand von zwei aktuellen Datensätzen für Passage-Suche. Die Ergebnisse zeigen, dass ColBERT in der Effektivität mit bestehenden BERT-basierten Modellen konkurrieren kann (und jedes nicht-BERT Baseline-Modell übertrifft), während es zwei Größenordnungen schneller arbeitet und bis zu vier Größenordnungen weniger FLOPs pro Anfrage benötigt.