MemLong : Récupération augmentée par mémoire pour la modélisation de textes longs

Les récents progrès des grands modèles de langage (LLMs) ont produit un succès remarquable dans divers domaines. Cependant, gérer des contextes longs reste un défi majeur pour les LLMs en raison de la complexité quadratique en temps et en espace des mécanismes d'attention et de la consommation croissante de mémoire du cache clé-valeur pendant la génération. Ce travail présente MemLong : Memory-Augmented Retrieval for Long Text Generation, une méthode conçue pour améliorer les capacités de modélisation du langage à long contexte en utilisant un récupérateur externe pour la recherche d'informations historiques. MemLong combine un module non différentiable « ret-mem » avec un modèle de langage uniquement décodeur partiellement entraînable et introduit un mécanisme d'attention de récupération finement granulé et contrôlable qui exploite des segments pertinents au niveau sémantique. Des évaluations complètes sur plusieurs benchmarks de modélisation du langage à long contexte démontrent que MemLong surpasse systématiquement d'autres LLMs à la pointe. Plus important encore, MemLong peut étendre la longueur du contexte sur un seul GPU 3090 de 4k à 80k. Notre code est disponible sur https://github.com/Bui1dMySea/MemLong