Effiziente Wissenseinbettung durch KG-LLM-Ausrichtung

Um das Problem des Mangels an domänenspezifischem Wissen in großen Sprachmodellen (LLMs) zu lösen, hat sich die Methode der wissensgraphgestützten Retrieval-Erweiterung als effektive und effiziente Technik zur Wissenseinbettung erwiesen. Bestehende Ansätze stehen jedoch vor zwei Hauptproblemen: Wissensdiskrepanzen zwischen öffentlich verfügbaren Wissensgraphen und dem spezifischen Aufgabenbereich sowie eine schlechte Informationskonformität der LLMs mit Wissensgraphen. In dieser Arbeit nutzen wir eine kleine Menge gelabelter Beispiele und ein groß angelegtes Korpus, um domänenspezifische Wissensgraphen mithilfe eines LLM effizient zu konstruieren und so das Problem der Wissensdiskrepanz anzugehen. Zusätzlich schlagen wir eine dreistufige KG-LLM-Ausrichtungsstrategie vor, um die Fähigkeit des LLM zu verbessern, Informationen aus Wissensgraphen zu nutzen. Wir führen Experimente mit begrenzter Stichprobengröße an zwei biomedizinischen Frage-Antwort-Datensätzen durch, und die Ergebnisse zeigen, dass unser Ansatz bestehende Baselines übertrifft.