Cícero

Abordagens tradicionais para garantir trabalho em grupo de alta qualidade falharam em alcançar alta precisão em problemas difíceis. Agregar respostas redundantes frequentemente falha nos problemas mais complexos quando a maioria está confusa. A argumentação mostrou ser eficaz para mitigar essas desvantagens. Entretanto, sistemas de argumentação existentes suportam interações limitadas e mostram aos trabalhadores justificativas gerais, não argumentos contextuais específicos direcionados ao seu raciocínio. Este artigo apresenta Cicero, um novo fluxo de trabalho que melhora a precisão do grupo em tarefas difíceis ao engajar os trabalhadores em discussões contextuais e multi-turnos por meio de argumentação síncrona em tempo real. Nossos experimentos mostram que, comparado aos sistemas anteriores de argumentação que apenas melhoram a precisão média individual do trabalhador em 6,8 pontos percentuais no domínio de Extração de Relações, nosso fluxo de trabalho alcança uma melhoria de 16,7 pontos percentuais. Além disso, abordagens anteriores de argumentação não se aplicam a tarefas com muitas respostas possíveis; em contraste, Cicero funciona bem nesses casos, elevando a precisão de 66,7% para 98,8% no domínio Codenames.