User-LLM : Contextualisation efficace des LLM avec des embeddings utilisateur

Les grands modèles de langue (LLM) ont révolutionné le traitement du langage naturel. Cependant, intégrer efficacement des données complexes et potentiellement bruyantes provenant des interactions utilisateurs reste un défi. Pour y remédier, nous proposons User-LLM, un nouveau cadre qui exploite les embeddings utilisateur pour contextualiser les LLM. Ces embeddings, distillés à partir de diverses interactions utilisateur via un pré-entraînement auto-supervisé, captent les préférences latentes des utilisateurs et leur évolution dans le temps. Nous intégrons ces embeddings utilisateur aux LLM via une attention croisée et des soft-prompts, permettant aux LLM de s’adapter dynamiquement au contexte utilisateur. Nos expériences complètes sur les jeux de données MovieLens, Amazon Review et Google Local Review démontrent des gains de performance significatifs sur diverses tâches. Notamment, notre approche surpasse la contextualisation basée sur des prompts textuels pour les tâches de longues séquences et celles nécessitant une compréhension approfondie de l’utilisateur, tout en restant efficiente en termes de calcul. Nous incorporons également des couches Perceiver pour optimiser l’intégration entre les encodeurs utilisateurs et les LLM, réduisant ainsi les besoins en calcul.