Sept points de défaillance lors de l'ingénierie d'un système de génération augmentée par récupération

Les ingénieurs en logiciel ajoutent de plus en plus des capacités de recherche sémantique aux applications en utilisant une stratégie connue sous le nom de génération augmentée par récupération (RAG). Un système RAG consiste à trouver des documents qui correspondent sémantiquement à une requête, puis à transmettre ces documents à un grand modèle de langage (LLM) tel que ChatGPT pour extraire la bonne réponse à l'aide du LLM. Les systèmes RAG visent à : a) réduire le problème des réponses hallucinées par les LLM, b) lier les sources/références aux réponses générées, et c) supprimer le besoin d'annoter les documents avec des métadonnées. Cependant, les systèmes RAG souffrent des limitations inhérentes aux systèmes de recherche d'information et de la dépendance aux LLM. Dans cet article, nous présentons un rapport d'expérience sur les points de défaillance des systèmes RAG à partir de trois études de cas issues de domaines distincts : recherche, éducation et biomédical. Nous partageons les leçons apprises et présentons 7 points de défaillance à considérer lors de la conception d'un système RAG. Les deux conclusions clés de notre travail sont : 1) la validation d'un système RAG n'est faisable que durant son fonctionnement, et 2) la robustesse d'un système RAG évolue plutôt que d'être conçue dès le départ. Nous concluons par une liste de pistes de recherche potentielles sur les systèmes RAG pour la communauté du génie logiciel.