InfuserKI : Amélioration des grands modèles de langage avec des graphes de connaissances via l'intégration des connaissances guidée par Infuser

Bien que les grands modèles de langage (LLM) aient montré des capacités remarquables de génération ouverte dans divers domaines, ils éprouvent des difficultés avec les tâches intensives en connaissances. Pour atténuer ce problème, des méthodes d'intégration des connaissances ont été proposées afin d'améliorer les LLM avec des graphes de connaissances spécifiques au domaine en utilisant des modules externes. Cependant, elles souffrent d'une inefficacité des données car elles nécessitent à la fois des connaissances connues et inconnues pour l'ajustement fin. Ainsi, nous étudions un nouveau problème consistant à intégrer efficacement des connaissances inconnues dans les LLM sans chevauchement inutile des connaissances connues. L'injection de nouvelles connaissances présente le risque d'oublier les connaissances précédemment acquises. Pour y remédier, nous proposons un nouveau cadre d'intégration des connaissances guidée par Infuser (InfuserKI) qui utilise les états internes du transformateur pour déterminer s'il faut améliorer la sortie originale du LLM avec des informations supplémentaires, réduisant ainsi efficacement l'oubli des connaissances. Les évaluations sur les graphes de connaissances de domaine UMLS-2.5k et MetaQA démontrent que InfuserKI peut acquérir efficacement de nouvelles connaissances et surpasser les références à la pointe de la technologie de 9 % et 6 %, respectivement, dans la réduction de l'oubli des connaissances.