SLMRec : Renforcer les Petits Modèles de Langage pour la Recommandation Séquentielle

La tâche de Recommandation Séquentielle (SR) consiste à prédire le prochain élément avec lequel un utilisateur est susceptible d'interagir, compte tenu de ses interactions passées. Les modèles SR examinent la séquence des actions d'un utilisateur pour discerner des schémas comportementaux plus complexes et des dynamiques temporelles. Des recherches récentes démontrent le grand impact des LLM sur les systèmes de recommandation séquentielle, soit en considérant la recommandation séquentielle comme une modélisation du langage, soit en servant de base pour la représentation utilisateur. Bien que ces méthodes offrent des performances exceptionnelles, il existe peu de preuves de la nécessité d'un grand modèle de langage et de la taille requise de ce modèle, en particulier dans le domaine de la recommandation séquentielle. Par ailleurs, en raison de la très grande taille des LLM, il est inefficace et peu pratique d'appliquer un modèle basé sur LLM sur des plateformes réelles qui doivent souvent traiter des milliards de journaux de trafic quotidiennement. Dans cet article, nous explorons l'influence de la profondeur des LLM en menant des expériences approfondies sur des ensembles de données industriels à grande échelle. De manière surprenante, nous découvrons que la plupart des couches intermédiaires des LLM sont redondantes. Motivés par cette découverte, nous renforçons les petits modèles de langage pour la SR, nommés SLMRec, qui adoptent une méthode simple mais efficace de distillation des connaissances. De plus, SLMRec est orthogonal à d'autres techniques d'efficacité post-entraînement, telles que la quantification et l'élagage, de sorte qu'elles peuvent être utilisées en combinaison. Des résultats expérimentaux complets illustrent que le modèle SLMRec proposé atteint la meilleure performance en utilisant seulement 13 % des paramètres trouvés dans les modèles de recommandation basés sur LLM, tout en réalisant simultanément des accélérations allant jusqu'à 6,6x et 8,0x des coûts en temps d'entraînement et d'inférence, respectivement.