Wissen mit kontextuellen Eingabeaufforderungen in Große Sprachmodelle einspeisen

Wissensinfusion ist eine vielversprechende Methode zur Verbesserung großer Sprachmodelle für domänenspezifische NLP-Aufgaben, anstatt Modelle von Grund auf mit großen Datenmengen vorzutrainen. Diese augmentierten LLMs beruhen typischerweise auf zusätzlichem Vortraining oder Wissenseingabeaufforderungen aus einem bestehenden Wissensgraphen, was in vielen Anwendungen unpraktisch ist. Im Gegensatz dazu ist die Wissensinfusion direkt aus relevanten Dokumenten allgemeiner anwendbar und vermindert die Notwendigkeit strukturierter Wissensgraphen, während sie auch für Entitäten nützlich ist, die üblicherweise in keinem Wissensgraphen gefunden werden. Vor diesem Hintergrund schlagen wir einen einfachen, aber generalisierbaren Ansatz zur Wissensinfusion vor, indem wir Aufforderungen aus dem Kontext des Eingangstexts generieren. Unsere Experimente zeigen die Wirksamkeit unseres Ansatzes, den wir durch das Prüfen der feinabgestimmten LLMs bewerten.