Os Grandes Modelos de Linguagem São Realmente Bons em Transferência de Estilo de Texto?

Analisamos o desempenho de grandes modelos de linguagem (LLMs) na Transferência de Estilo de Texto (TST), com foco específico na transferência de sentimento e desintoxicação de texto em três idiomas: inglês, hindi e bengali. A Transferência de Estilo de Texto envolve modificar o estilo linguístico de um texto enquanto preserva seu conteúdo central. Avaliamos as capacidades dos LLMs pré-treinados utilizando prompting zero-shot e few-shot, bem como ajuste fino eficiente em parâmetros, em conjuntos de dados disponíveis publicamente. Nossa avaliação com métricas automáticas, GPT-4 e avaliações humanas revela que, enquanto alguns LLMs com prompting apresentam bom desempenho em inglês, seu desempenho em outras línguas (hindi, bengali) permanece médio. No entanto, o ajuste fino melhora significativamente os resultados em comparação com prompting zero-shot e few-shot, tornando-os comparáveis com o estado da arte anterior. Isso ressalta a necessidade de conjuntos de dados dedicados e modelos especializados para uma TST eficaz.