FiD-Light : Génération de texte augmentée par récupération, efficace et performante

Les modèles de génération augmentée par récupération offrent de nombreux avantages par rapport aux modèles de langage autonomes : en plus d'une réponse textuelle à une requête donnée, ils fournissent des éléments de provenance extraits d'une base de connaissances mise à jour. Cependant, ce sont aussi des systèmes plus complexes qui doivent gérer des entrées longues. Dans ce travail, nous introduisons FiD-Light pour augmenter fortement l'efficacité du modèle FiD à la pointe de la génération augmentée par récupération, tout en maintenant le même niveau de performance. Notre modèle FiD-Light restreint le flux d'information de l'encodeur (qui encode les passages séparément) vers le décodeur (utilisant des représentations encodées concaténées). De plus, nous adaptons FiD-Light avec des capacités de réordonnancement via des pointeurs textuels vers la source, afin d'améliorer la précision des provenances en tête de liste. Nos expériences sur un ensemble diversifié de sept tâches intensives en connaissances (KILT) montrent que FiD-Light améliore systématiquement le compromis de Pareto entre latence des requêtes et efficacité. FiD-Light avec pointage de source établit de nouveaux résultats substantiels à la pointe sur six tâches KILT pour l'évaluation combinée de génération de texte et de récupération de provenance, tout en maintenant une grande efficacité.