MemoryBank : Améliorer les grands modèles linguistiques avec une mémoire à long terme

Les grands modèles linguistiques (LLMs) ont radicalement transformé nos interactions avec les systèmes d'intelligence artificielle (IA), démontrant des performances impressionnantes dans un large éventail de tâches. Malgré cela, un obstacle notable subsiste : le déficit d'un mécanisme de mémoire à long terme au sein de ces modèles. Cette lacune devient de plus en plus évidente dans les situations nécessitant une interaction soutenue, telles que les systèmes de compagnons personnels, le conseil psychologique et l'assistance secrétariale. Reconnaissant la nécessité d'une mémoire à long terme, nous proposons MemoryBank, un mécanisme de mémoire novateur conçu pour les LLMs. MemoryBank permet aux modèles de rappeler des souvenirs pertinents, d'évoluer continuellement grâce à des mises à jour de mémoire continues, de comprendre et de s'adapter à la personnalité d'un utilisateur au fil du temps en synthétisant les informations des interactions précédentes. Pour imiter les comportements anthropomorphes et conserver sélectivement la mémoire, MemoryBank intègre un mécanisme de mise à jour de la mémoire, inspiré par la théorie de la courbe de l'oubli d'Ebbinghaus. Ce mécanisme permet à l'IA d'oublier et de renforcer la mémoire en fonction du temps écoulé et de l'importance relative du souvenir, offrant ainsi un mécanisme de mémoire plus humain et une expérience utilisateur enrichie. MemoryBank est polyvalent, compatible à la fois avec des modèles à code fermé comme ChatGPT et des modèles open-source tels que ChatGLM. Pour valider l'efficacité de MemoryBank, nous illustrons son application à travers la création d'un chatbot basé sur LLM nommé SiliconFriend dans un scénario de compagnon IA à long terme. Affiné davantage avec des données de dialogues psychologiques, SiliconFriend affiche une empathie et un discernement accrus dans ses interactions. L'expérience comprend une analyse qualitative avec des dialogues utilisateurs réels et une analyse quantitative avec des dialogues simulés. Dans ce dernier cas, ChatGPT agit en tant que plusieurs utilisateurs aux caractéristiques diverses et génère des contextes de dialogue à long terme couvrant un large éventail de sujets. Les résultats de notre analyse révèlent que SiliconFriend, équipé de MemoryBank, présente une forte capacité de compagnonnage à long terme puisqu'il peut offrir des réponses empathiques, rappeler des souvenirs pertinents et comprendre la personnalité de l'utilisateur.