InfuserKI: Mejorando los Modelos de Lenguaje Grandes con Grafos de Conocimiento mediante Integración de Conocimiento Guiada por Infuser

Aunque los Modelos de Lenguaje Grandes (LLMs) han mostrado capacidades notables de generación abierta en diversos dominios, tienen dificultades con tareas intensivas en conocimiento. Para aliviar este problema, se han propuesto métodos de integración de conocimiento para mejorar los LLMs con grafos de conocimiento específicos del dominio utilizando módulos externos. Sin embargo, sufren de ineficiencia de datos ya que requieren tanto conocimiento conocido como desconocido para el ajuste fino. Por lo tanto, estudiamos un problema novedoso de integrar conocimiento desconocido en los LLMs de manera eficiente sin superposición innecesaria del conocimiento conocido. Inyectar nuevo conocimiento implica el riesgo de olvidar el conocimiento previamente adquirido. Para abordar esto, proponemos un novedoso marco de Integración de Conocimiento Guiada por Infuser (InfuserKI) que utiliza los estados internos del transformador para determinar si se debe mejorar la salida original del LLM con información adicional, mitigando así efectivamente el olvido de conocimiento. Las evaluaciones en los grafos de conocimiento de dominio UMLS-2.5k y MetaQA demuestran que InfuserKI puede adquirir efectivamente nuevo conocimiento y superar a las líneas base de vanguardia en un 9% y 6%, respectivamente, en la reducción del olvido de conocimiento.