Automatizando a Avaliação de Planos Usando Modelos de Linguagem Grandes Agentes

A avaliação manual de planos enfrenta desafios de confiabilidade e escalabilidade. Esta pesquisa compara avaliações humanas com um grande modelo de linguagem (LLM) usando uma abordagem multiagente e/ou geração aumentada por recuperação (RAG) para automatizar tarefas complexas de análise de conteúdo. Descobrimos que os LLMs geralmente apresentam desempenho comparável ao humano, com a maioria dos erros originada de excesso de implicação e conhecimento limitado do domínio. A abordagem multiagente aprimora substancialmente o desempenho do LLM, reduzindo erros comuns da máquina em mais de 50%. Integrar essas ferramentas de LLM com supervisão humana provavelmente se tornará a nova norma para análise de conteúdo, e este estudo demonstra como aproveitar a eficiência e precisão da inteligência artificial (IA) junto com o entendimento contextual e expertise de domínio humanos.