User-LLM: Contextualização Eficiente de LLM com Embeddings de Usuário

Grandes modelos de linguagem (LLMs) revolucionaram o processamento de linguagem natural. No entanto, incorporar de forma eficaz dados complexos e potencialmente ruidosos de interação do usuário continua sendo um desafio. Para isso, propomos o User-LLM, uma estrutura inovadora que utiliza embeddings de usuário para contextualizar LLMs. Esses embeddings, destilados de diversas interações de usuários usando pré-treinamento auto-supervisionado, capturam preferências latentes dos usuários e sua evolução ao longo do tempo. Integramos esses embeddings de usuário com os LLMs através de cross-attention e soft-prompting, permitindo que os LLMs se adaptem dinamicamente ao contexto do usuário. Nossos experimentos abrangentes nos conjuntos de dados MovieLens, Amazon Review e Google Local Review demonstram ganhos significativos de desempenho em várias tarefas. Notavelmente, nossa abordagem supera a contextualização baseada em prompts de texto em tarefas de sequências longas e tarefas que exigem profundo entendimento do usuário, mantendo eficiência computacional. Além disso, incorporamos camadas Perceiver para otimizar a integração entre codificadores de usuário e LLMs, reduzindo demandas computacionais.