A Efetividade dos LLMs como Anotadores: Uma Visão Comparativa e Análise Empírica da Representação Direta

Grandes Modelos de Linguagem (LLMs) emergiram como ferramentas poderosas de suporte em várias tarefas de linguagem natural e diversos domínios de aplicação. Estudos recentes focam em explorar suas capacidades para anotação de dados. Este artigo oferece uma visão comparativa de doze estudos que investigam o potencial dos LLMs na rotulagem de dados. Embora os modelos demonstrem benefícios promissores em termos de custo e economia de tempo, existem limitações consideráveis, como representatividade, viés, sensibilidade a variações de prompt e preferência pela língua inglesa. Aproveitando os insights desses estudos, nossa análise empírica examina ainda mais o alinhamento entre a distribuição de opiniões humanas e geradas pelo GPT em quatro conjuntos de dados subjetivos. Em contraste com os estudos que examinam a representação, nossa metodologia obtém diretamente a distribuição de opinião do GPT. Nossa análise apoia, assim, a minoria de estudos que consideram perspectivas diversas ao avaliar tarefas de anotação de dados e destaca a necessidade de pesquisas adicionais nessa direção.