Rumo ao Prompting Generalista para Modelos de Linguagem de Grande Porte por Meio de Modelos Mentais

Modelos de linguagem de grande porte (LLMs) demonstraram desempenho impressionante em muitas tarefas. No entanto, para alcançar desempenho ideal, ainda são necessários métodos de prompting especialmente projetados. Esses métodos dependem de exemplos few-shot específicos de tarefas que requerem certo nível de conhecimento de domínio, ou são projetados para serem simples, porém apresentam bom desempenho apenas em alguns tipos de tarefas. Neste trabalho, tentamos introduzir o conceito de prompting generalista, que opera com o princípio de design de alcançar desempenho ótimo ou quase ótimo em uma ampla variedade de tarefas, eliminando a necessidade de seleção manual e personalização dos prompts adaptados a problemas específicos. Além disso, propomos MeMo (Modelos Mentais), um método inovador de prompting que é simples no design, mas que atende eficazmente aos critérios de prompting generalista. O MeMo destila os núcleos de vários métodos de prompting em modelos mentais individuais e permite que os LLMs selecionem autonomamente os modelos mentais mais adequados para o problema, alcançando ou estando próximos dos resultados de ponta em tarefas diversas, como STEM, raciocínio lógico e raciocínio de senso comum em configurações zero-shot. Esperamos que os insights aqui apresentados estimulem maior exploração de métodos de prompting generalistas para LLMs.