Von menschlichen Experten zu Maschinen: Ein von LLM unterstützter Ansatz zur Ontologie- und Wissensgraphkonstruktion

Der konventionelle Prozess des Aufbaus von Ontologien und Wissensgraphen (KGs) beruht stark auf menschlichen Fachexperten, die Entitäten und Beziehungstypen definieren, Hierarchien etablieren, die Relevanz zum Fachgebiet wahren, den ABox füllen (oder mit Instanzen belegen) und die Datenqualität sicherstellen (darunter u.a. Genauigkeit und Vollständigkeit). Andererseits haben Large Language Models (LLMs) kürzlich an Popularität gewonnen aufgrund ihrer Fähigkeit, menschenähnliche natürliche Sprache zu verstehen und zu generieren, was vielversprechende Wege bietet, Aspekte dieses Prozesses zu automatisieren. Diese Arbeit untersucht den (semi-)automatischen Aufbau von KGs, der durch Open-Source-LLMs erleichtert wird. Unsere Pipeline umfasst die Formulierung von Kompetenzfragen (CQs), die Entwicklung einer Ontologie (TBox) basierend auf diesen CQs, den Aufbau von KGs mithilfe der entwickelten Ontologie sowie die Bewertung des resultierenden KG mit minimaler bis keiner Beteiligung von menschlichen Experten. Wir demonstrieren die Machbarkeit unserer halbautomatisierten Pipeline durch die Erstellung eines KG zu Deep-Learning-Methodologien unter Ausnutzung wissenschaftlicher Publikationen. Um die durch Retrieval-Augmented-Generation (RAG) erzeugten Antworten sowie die automatisch mittels LLMs extrahierten KG-Konzepte zu bewerten, entwickeln wir ein Bewertungs-LLM, das die generierten Inhalte auf Basis der Ground-Truth bewertet. Unsere Ergebnisse legen nahe, dass der Einsatz von LLMs den menschlichen Aufwand bei der Konstruktion von KGs potenziell reduzieren könnte, obwohl ein Human-in-the-Loop-Ansatz empfohlen wird, um automatisch generierte KGs zu evaluieren.