Avaliação automática de resumos usando estatísticas de co-ocorrência de N-gramas

Seguindo a recente adoção pela comunidade de tradução automática da avaliação automática usando o processo de pontuação BLEU/NIST, realizamos um estudo aprofundado de uma ideia similar para avaliação de resumos. Os resultados mostram que a avaliação automática usando co-ocorrências de unigramas entre pares de resumos correlaciona-se surpreendentemente bem com avaliações humanas, com base em várias métricas estatísticas; enquanto a aplicação direta do procedimento de avaliação BLEU nem sempre oferece bons resultados.