大規模言語モデルを用いた知識グラフにおけるクラスメンバーシップ関係の評価

知識グラフの基盤を成すのはクラスメンバーシップ関係であり、これはエンティティを特定のクラスに割り当てる役割を持つ。知識工学のプロセスの一環として、クラスの自然言語による内包的定義を利用したゼロショットのチェインオブソート分類器を用いて、与えられたエンティティとクラスの説明を処理し、これらの関係の品質を評価する新たな手法を提案する。2つの公開知識グラフであるWikidataとCaLiGraph、および7つの大規模言語モデルを用いて方法を評価した。gpt-4-0125-preview大規模言語モデルを使用した際、Wikidataのデータに対してマクロ平均F1スコアは0.830、CaLiGraphのデータに対しては0.893を達成した。さらに、分類エラーの手動分析では、エラーの40.9％が知識グラフに起因し、そのうち16.0％が欠落関係、24.9％が誤って主張された関係によるものであった。これらの結果は、大規模言語モデルが知識グラフの改良プロセスにおいて知識エンジニアを支援できることを示している。コードとデータはGithubで公開されている。