Ajuste Fino de Modelo de Linguagem Grande para Ranqueamento Personalizado

Modelos de Linguagem Grandes (LLMs) demonstraram desempenho notável em diversos domínios, motivando pesquisadores a investigar seu uso potencial em sistemas de recomendação. No entanto, aplicar diretamente LLMs em tarefas de recomendação tem se mostrado desafiador devido à significativa disparidade entre os dados usados para pré-treinamento dos LLMs e os requisitos específicos das tarefas de recomendação. Neste estudo, apresentamos o Direct Multi-Preference Optimization (DMPO), uma estrutura simplificada projetada para preencher essa lacuna e aprimorar o alinhamento dos LLMs para tarefas de recomendação. O DMPO melhora o desempenho de recomendadores baseados em LLM ao maximizar simultaneamente a probabilidade de amostras positivas e minimizar a probabilidade de múltiplas amostras negativas. Realizamos avaliações experimentais para comparar o DMPO com métodos tradicionais de recomendação e outras abordagens baseadas em LLM. Os resultados demonstram que o DMPO melhora significativamente as capacidades de recomendação dos LLMs em três conjuntos de dados públicos do mundo real em cenários few-shot. Além disso, os experimentos indicam que o DMPO exibe superior capacidade de generalização em recomendações cross-domain. Um estudo de caso elucida as razões por trás dessas melhorias consistentes e também ressalta o potencial do DMPO como um sistema de recomendação explicável.