EraRAG: Effiziente und inkrementelle Retrieval-Augmented-Generierung für wachsende Korpora

Graph-basierte Retrieval-Augmented-Generation (Graph-RAG) verbessert große Sprachmodelle (LLMs) durch die Strukturierung der Suche über ein externes Korpus. Bestehende Ansätze gehen jedoch typischerweise von einem statischen Korpus aus, was bei neuen Dokumenten eine kostenintensive vollständige Rekonstruktion des Graphen erfordert und somit die Skalierbarkeit in dynamischen, sich entwickelnden Umgebungen einschränkt. Zur Überwindung dieser Einschränkungen stellen wir EraRAG vor, ein neuartiges mehrschichtiges Graph-RAG-Framework, das effiziente und skalierbare dynamische Aktualisierungen unterstützt. Unsere Methode nutzt hyperplane-basierte Locality-Sensitive Hashing (LSH), um das ursprüngliche Korpus in hierarchische Graphstrukturen zu partitionieren und zu organisieren, was effiziente und lokal beschränkte Einfügungen neuer Daten ohne Beeinträchtigung der bestehenden Topologie ermöglicht. Das Design eliminiert die Notwendigkeit für Retraining oder kostenintensive Neuberechnungen und bewahrt dabei hohe Suchgenauigkeit und geringe Latenz. Experimente an großangelegten Benchmarks zeigen, dass EraRAG die Aktualisierungszeit und den Tokenverbrauch um bis zu eine Zehnerpotenz im Vergleich zu bestehenden Graph-RAG-Systemen reduziert und gleichzeitig eine überlegene Genauigkeit bietet. Diese Arbeit bietet einen praktischen Weg für RAG-Systeme, die kontinuierlich wachsende Korpora bedienen müssen, und überbrückt die Kluft zwischen Sucheffizienz und Anpassungsfähigkeit. Unser Code und unsere Daten sind verfügbar unter https://github.com/EverM0re/EraRAG-Official.