Um modelo para comparar avaliações de grande escala: contrastando o NAS da Índia, o NAEP dos Estados Unidos e o PISA da OCDE

Avaliações de grande escala (LSAs) são ferramentas importantes para medir resultados educacionais e moldar decisões de políticas. Apresentamos um modelo para comparar LSAs a fim de facilitar o estudo do impacto da escolha do desenho na precisão dos resultados, contrastando o Survey Nacional de Realização (NAS) da Índia, a Avaliação Nacional do Progresso Educacional (NAEP) dos Estados Unidos e o Programa para Avaliação Internacional de Estudantes (PISA) da OCDE. Nosso modelo foca em quatro elementos principais: desenho amostral, desenho da avaliação, metodologia de análise e relatório. A noção de erro total da pesquisa, que é a acumulação de erros nos quatro elementos principais, pode ser usada tanto para projetar quanto para avaliar LSAs. Como exemplo, comparamos estatísticas que são comumente (mas nem sempre) relatadas pelo NAS, NAEP e PISA para resumir resultados relacionados à amostragem, medição e relatório. Nossa análise revela várias semelhanças e diferenças chave entre as três avaliações, destacando assim as formas sutis pelas quais cada LSA é adaptada para atender às necessidades específicas de seu propósito e aos desafios que enfrentam.