Aprendizado Profundo por Reforço Pareto para Sistemas de Recomendação Multiobjetivo

Otimizar múltiplos objetivos simultaneamente é uma tarefa importante para plataformas de recomendação melhorarem seu desempenho. No entanto, essa tarefa é particularmente desafiadora, pois as relações entre diferentes objetivos são heterogêneas entre os consumidores e flutuam dinamicamente conforme os diferentes contextos, resultando em uma fronteira de Pareto nos resultados das recomendações, onde a melhora de qualquer objetivo ocorre ao custo de outros. Sistemas de recomendação multiobjetivo existentes não consideram sistematicamente essas relações dinâmicas; ao invés disso, equilibram esses objetivos de modo estático e uniforme, resultando apenas em desempenho subótimo nas recomendações. Neste artigo, propomos um método de Aprendizado Profundo por Reforço Pareto (DeepPRL), no qual (1) modelamos de forma abrangente as relações complexas entre múltiplos objetivos de recomendação; (2) capturamos efetivamente preferências personalizadas e contextuais dos consumidores para cada objetivo; (3) otimizamos tanto o desempenho de recomendação de curto prazo quanto o de longo prazo. Como resultado, nosso método alcança domínio significativo de Pareto sobre os melhores métodos atuais em quatro experimentos offline. Além disso, realizamos um experimento controlado na plataforma de streaming de vídeo da Alibaba, no qual nosso método melhorou simultaneamente três objetivos de negócio conflitantes de forma significativa em relação ao sistema de produção mais recente, demonstrando seu impacto econômico tangível na prática.