Préentraînement profond bidirectionnel d'un modèle linguistique et graphe de connaissances

Le préentraînement d'un modèle linguistique (LM) sur des textes a démontré son utilité pour diverses tâches en traitement automatique du langage naturel (TALN). Des travaux récents montrent qu'un graphe de connaissances (KG) peut compléter les données textuelles en offrant des connaissances de fond structurées, fournissant un cadre utile pour le raisonnement. Cependant, ces travaux ne sont pas préentraînés pour apprendre une fusion profonde des deux modalités à grande échelle, limitant ainsi le potentiel d'acquisition de représentations conjointes complètes du texte et du KG. Ici, nous proposons DRAGON (Deep Bidirectional Language-Knowledge Graph Pretraining), une approche auto-supervisée pour préentraîner un modèle fondation conjoint profond langage-graphes de connaissances à partir du texte et du KG à grande échelle. Plus précisément, notre modèle prend en entrée des paires de segments de texte et des sous-graphes pertinents de KG et fusionne bidirectionnellement les informations des deux modalités. Nous préentraînons ce modèle en unifiant deux tâches de raisonnement auto-supervisées, le masquage du langage et la prédiction de liens dans le KG. DRAGON surpasse les modèles LM et LM+KG existants sur diverses tâches aval, incluant la réponse aux questions dans les domaines général et biomédical, avec un gain absolu moyen de +5 %. En particulier, DRAGON obtient des performances notables sur le raisonnement complexe combinant langage et connaissances (+10 % sur les questions impliquant des contextes longs ou un raisonnement en plusieurs étapes) et sur la réponse aux questions en ressources limitées (+8 % sur OBQA et RiddleSense), ainsi que de nouveaux records sur diverses tâches BioNLP. Notre code et nos modèles entraînés sont disponibles à https://github.com/michiyasunaga/dragon.