De expertos humanos a máquinas: Un enfoque apoyado por LLM para la construcción de ontologías y gráficos de conocimiento

El proceso convencional de construcción de ontologías y gráficos de conocimiento (KGs) depende en gran medida de expertos humanos en el dominio para definir entidades y tipos de relaciones, establecer jerarquías, mantener la relevancia al dominio, llenar el ABox (o poblar con instancias) y asegurar la calidad de los datos (incluyendo, entre otros, precisión y exhaustividad). Por otro lado, los Modelos de Lenguaje Grandes (LLMs) han ganado popularidad recientemente por su capacidad para entender y generar lenguaje natural similar al humano, ofreciendo formas prometedoras de automatizar aspectos de este proceso. Este trabajo explora la construcción (semi)automática de KGs facilitada por LLMs de código abierto. Nuestra canalización implica formular preguntas de competencia (CQs), desarrollar una ontología (TBox) basada en estas CQs, construir KGs usando la ontología desarrollada y evaluar el KG resultante con mínima o ninguna participación de expertos humanos. Demostramos la viabilidad de nuestra canalización semiautomatizada creando un KG sobre metodologías de aprendizaje profundo explotando publicaciones académicas. Para evaluar las respuestas generadas mediante Retrieval-Augmented-Generation (RAG) así como los conceptos del KG extraídos automáticamente usando LLMs, diseñamos un juez LLM que califica el contenido generado en base a la verdad fundamental. Nuestros hallazgos sugieren que emplear LLMs podría potencialmente reducir el esfuerzo humano involucrado en la construcción de KGs, aunque se recomienda un enfoque con humanos en el circuito para evaluar KGs generados automáticamente.