Creso Franco: melhorou a prova, mas não os estudantes

Escreve Creso Franco, sobre as aparentes melhoras dos brasileiros na prova de matemática do PISA:

Simon, como de praxe, colocando perguntas importantes. Minha hipótese é a de que o movimento fundamental foi a da melhora da avaliação, e, infelizmente, não a melhora do aprendizado de Matemática em países como o Brasil.

A pedido de Maria Helena e Paulo Renato, coordenei a preparação do relatório brasileiro do PISA 2000. Assim que tive acesso às bases de dados, chamou-me a atenção a assimetria da distribuição da proficiência em Matemática para o Brasil e outros países de baixo desempenho, com cauda à esquerda muito pesada. O mesmo não ocorria em Leitura e Ciências (ainda que o desempenho dos alunos daqueles países fosse também sofrível nessas áreas). À época percorri as respostas dos alunos de baixo desempenho (o % era enorme, mas, à época, a amostra não era muito grande). O padrão típico (levando em conta a ordem de aparição dos itens para os alunos, conforme o caderno de prova de cada um) era muitos erros no inicio, seguido de itens deixados em branco. Em português claro: a prova era impossível para aqueles alunos, eles tentavam um pouco e simplesmente desistiam. Em psicometrês: os coeficientes de dificuldade dos itens estavam acima da proficiência de parcela expressiva dos alunos daqueles países; o teste não servia para medir o que aqueles alunos sabiam. Esses alunos ficavam agrupados muito próximos, com escores muito baixos, sem muita discriminação entre esses alunos. Daí a forma curiosa do diagrama de dispersão da proficiência em Matemática.

Será que, com a incorporação de mais países de fora da OCDE, o teste passou a incluir itens mais fáceis, permitindo alguma discriminação  entre esses alunos de baixo desempenho? Será que o aumento da proficiência média explica-se fundamentalmente pelo suposto na frase acima? Ou será que nossos alunos de 15 anos estão melhorando em Matemática?

Como não estou em condições de explorar as perguntas acima, apenas apresento a tabela abaixo, comparando o resultado de 2000 com 2012 para os países latino-americano que participaram de ambos os exercícios:

Paises

2000

2012

Diferença como % do desvio padrão da amostra completa

Argentina

388

388

0%

Mexico

382

413

31%

Chile

384

423

39%

Brazil

334

391

57%

Peru

292

368

76%

 

Melhoramos todos? Ou melhorou a avaliação? (para ser justo com a equipe técnica, ao invés de perguntar se a avaliação melhorou, deveríamos perguntar se ela ficou mais bem adaptada para lidar com alunos de baixo desempenho).

 

 

Author: Simon Schwartzman

Simon Schwartzman é sociólogo, falso mineiro e brasileiro. Vive no Rio de Janeiro

2 thoughts on “Creso Franco: melhorou a prova, mas não os estudantes”

  1. Parece que deveriamos olhar a variação dos escores do Brasil com relação ao escore mediano do mesmo grupo sócio-econômico — América Latina, BRICS?

    Aliás, seria interessante o comportamento dessa tendência de grupo a longo prazo — será que refletiria, p.ex., a maior exposição dos estudantes a Internet?

    Isso me faz lembrar dos gráficos de número de publicações por ano dos pesquisadores brasileiros: há um crescimento que parece excelente. Porém está presente para todos os países, portanto refletindo mais a oferta de revistas para publicação do que a capacidade do pesquisador em escrever artigos.

  2. Prezado Simon:
    Boa noite!
    Muito interessante a observação de Creso Franco sobre a calibração da prova ao perfil do aluno latino.Neste sentido, o que está em jogo é a proficiência do teste.Esta sensibilidade do teste, afetou os resultados para os Estados Unidos com seu contingente de latinos, negros e pobres? Idem para França com seu ciganos?
    Atenciosamente,
    Ana Maria de Rezende Pinto

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

WP Twitter Auto Publish Powered By : XYZScripts.com
Wordpress Social Share Plugin powered by Ultimatelysocial