Génération augmentée par récupération de documents virtuels pour les questions-réponses dans les bases de connaissances du domaine de l'électricité avec une robustesse améliorée par le bruit

La technologie de génération augmentée par récupération (RAG) permet aux grands modèles de langage (LLM) d'accéder à des bases de connaissances externes en introduisant des documents externes, améliorant ainsi leur capacité à répondre à des questions de connaissance dans des domaines professionnels et à générer des réponses plus fiables. Elle traite efficacement des problèmes tels que les hallucinations des LLM et l'obsolescence des connaissances. Dans le domaine de l'électricité, la technologie RAG peut être exploitée pour utiliser pleinement les données et ressources accumulées par l'entreprise. Cependant, lors de la phase de récupération de RAG, il existe des différences significatives dans la représentation de l'espace sémantique entre les phrases courtes et les documents textuels longs. De plus, lors de la génération de réponses basées sur les documents pertinents récupérés, le générateur privilégie les fragments de documents très pertinents, une stratégie qui peut négliger les documents sous-pertinents contenant des informations utiles. Cet article utilise un LLM pour générer des documents hypothétiques. Ces documents sont combinés avec la question originale pour effectuer une recherche de similarité dans le corpus, suivie de la première phase de génération de réponse. Ensuite, la question originale est combinée avec la réponse générée lors du premier tour, et ce contenu combiné est utilisé pour récupérer des documents pertinents. Enfin, des documents non pertinents sont ajoutés au contexte des documents pertinents récupérés pour renforcer l'attention du LLM sur ces derniers. Sur la base des stratégies ci-dessus, des expériences sont menées sur le jeu de données électricité. Les résultats montrent que, comparé à la méthode RAG naïve, le modèle proposé obtient une amélioration relative de 4,63 % sur la métrique ROUGE-L et de 11,32 % sur la métrique BLEU-4 du jeu de données électricité. Par ailleurs, des expériences sont également réalisées sur le jeu de données public CMRC, confirmant l'efficacité de la méthode proposée.