Bewertung von Klassenzugehörigkeitsbeziehungen in Wissensgraphen mithilfe großer Sprachmodelle

Ein Grundpfeiler von Wissensgraphen sind deren Klassenzugehörigkeitsbeziehungen, die Entitäten einer bestimmten Klasse zuordnen. Im Rahmen des Wissensingenieurwesens schlagen wir eine neue Methode zur Bewertung der Qualität dieser Beziehungen vor, indem wir Beschreibungen einer gegebenen Entität und Klasse mit einem Zero-Shot Chain-of-Thought-Klassifikator verarbeiten, der eine natürliche sprachliche intensionale Definition einer Klasse verwendet. Wir bewerten die Methode anhand von zwei öffentlich verfügbaren Wissensgraphen, Wikidata und CaLiGraph, sowie 7 großen Sprachmodellen. Mit dem großen Sprachmodell gpt-4-0125-preview erreicht die Klassifikationsleistung der Methode eine makro-gewichtete F1-Score von 0,830 bei Daten aus Wikidata und 0,893 bei Daten aus CaLiGraph. Zudem zeigt eine manuelle Analyse der Klassifikationsfehler, dass 40,9 % der Fehler auf die Wissensgraphen zurückzuführen sind, wobei 16,0 % auf fehlende Beziehungen und 24,9 % auf falsch behauptete Beziehungen entfallen. Diese Ergebnisse zeigen, wie große Sprachmodelle Wissensingenieure im Prozess der Verfeinerung von Wissensgraphen unterstützen können. Der Code und die Daten sind auf Github verfügbar.