HippoRAG : mémoire à long terme inspirée neurobiologiquement pour les grands modèles de langage

Afin de prospérer dans des environnements naturels hostiles et en constante évolution, les cerveaux mammifères ont évolué pour stocker de grandes quantités de connaissances sur le monde et intégrer continuellement de nouvelles informations tout en évitant l'oubli catastrophique. Malgré les accomplissements impressionnants, les grands modèles de langage (LLM), même avec la génération augmentée par récupération (RAG), peinent encore à intégrer efficacement et de manière efficiente une grande quantité de nouvelles expériences après le pré-entraînement. Dans ce travail, nous introduisons HippoRAG, un nouveau cadre de récupération inspiré par la théorie de l'indexation hippocampique de la mémoire à long terme humaine pour permettre une intégration de connaissances plus profonde et plus efficace sur de nouvelles expériences. HippoRAG orchestre de manière synergique les LLM, les graphes de connaissances, et l'algorithme Personalized PageRank afin d'imiter les différents rôles du néocortex et de l'hippocampe dans la mémoire humaine. Nous comparons HippoRAG avec les méthodes RAG existantes sur la réponse à questions multi-sauts et montrons que notre méthode surpasse remarquablement les méthodes de pointe, jusqu'à 20%. La récupération en une seule étape avec HippoRAG atteint une performance comparable ou meilleure que la récupération itérative comme IRCoT tout en étant 10 à 30 fois moins coûteuse et 6 à 13 fois plus rapide, et l'intégration de HippoRAG dans IRCoT apporte des gains substantiels supplémentaires. Enfin, nous démontrons que notre méthode peut aborder de nouveaux types de scénarios inaccessibles aux méthodes existantes. Le code et les données sont disponibles sur https://github.com/OSU-NLP-Group/HippoRAG.