Autoajuste de Auto-Prompt: Habilitar Interpretação Autônoma de Papéis em LLMs

Avanços recentes em LLMs demonstraram suas notáveis capacidades de interpretação de papéis, capazes de simular com precisão os estilos de diálogo e processos cognitivos de vários papéis com base em diferentes instruções e contextos. Estudos indicam que atribuir aos LLMs papéis de especialistas, uma estratégia conhecida como role-play prompting, pode melhorar seu desempenho nos domínios correspondentes. No entanto, o prompt precisa ser projetado manualmente para o problema dado, exigindo certa especialização e modificações iterativas. Para isso, propomos o autoajuste de prompt, fazendo com que os próprios LLMs gerem prompts de interpretação de papéis por meio de fine-tuning. Aproveitando o conjunto de dados LIMA como nosso corpus fundamental, utilizamos o GPT-4 para anotar prompts de interpretação de papéis para cada ponto de dado, resultando na criação do conjunto de dados LIMA-Role. Em seguida, fazemos fine-tuning em LLMs como Llama-2-7B e Mistral-7B no LIMA-Role. Consequentemente, os LLMs autoajustados podem gerar automaticamente prompts de papéis de especialistas para qualquer pergunta dada. Avaliamos extensivamente os LLMs autoajustados em benchmarks amplamente utilizados de NLP e testes de perguntas abertas. Nossos resultados empíricos ilustram que os LLMs autoajustados superam as bases ajustadas por instrução padrão na maioria dos conjuntos de dados. Isso destaca o grande potencial de utilizar fine-tuning para permitir que os LLMs se auto-promptem, automatizando assim estratégias complexas de prompting. Liberamos o conjunto de dados, modelos e código neste https: //anonymous. 4open. science/r/Self-Prompt-Tuning-739E/url.