Creso Franco: melhorou a prova, mas não os estudantes

Escreve Creso Franco, sobre as aparentes melhoras dos brasileiros na prova de matemática do PISA:

Simon, como de praxe, colocando perguntas importantes. Minha hipótese é a de que o movimento fundamental foi a da melhora da avaliação, e, infelizmente, não a melhora do aprendizado de Matemática em países como o Brasil.

A pedido de Maria Helena e Paulo Renato, coordenei a preparação do relatório brasileiro do PISA 2000. Assim que tive acesso às bases de dados, chamou-me a atenção a assimetria da distribuição da proficiência em Matemática para o Brasil e outros países de baixo desempenho, com cauda à esquerda muito pesada. O mesmo não ocorria em Leitura e Ciências (ainda que o desempenho dos alunos daqueles países fosse também sofrível nessas áreas). À época percorri as respostas dos alunos de baixo desempenho (o % era enorme, mas, à época, a amostra não era muito grande). O padrão típico (levando em conta a ordem de aparição dos itens para os alunos, conforme o caderno de prova de cada um) era muitos erros no inicio, seguido de itens deixados em branco. Em português claro: a prova era impossível para aqueles alunos, eles tentavam um pouco e simplesmente desistiam. Em psicometrês: os coeficientes de dificuldade dos itens estavam acima da proficiência de parcela expressiva dos alunos daqueles países; o teste não servia para medir o que aqueles alunos sabiam. Esses alunos ficavam agrupados muito próximos, com escores muito baixos, sem muita discriminação entre esses alunos. Daí a forma curiosa do diagrama de dispersão da proficiência em Matemática.

Será que, com a incorporação de mais países de fora da OCDE, o teste passou a incluir itens mais fáceis, permitindo alguma discriminação  entre esses alunos de baixo desempenho? Será que o aumento da proficiência média explica-se fundamentalmente pelo suposto na frase acima? Ou será que nossos alunos de 15 anos estão melhorando em Matemática?

Como não estou em condições de explorar as perguntas acima, apenas apresento a tabela abaixo, comparando o resultado de 2000 com 2012 para os países latino-americano que participaram de ambos os exercícios:

Paises

2000

2012

Diferença como % do desvio padrão da amostra completa

Argentina

388

388

0%

Mexico

382

413

31%

Chile

384

423

39%

Brazil

334

391

57%

Peru

292

368

76%

 

Melhoramos todos? Ou melhorou a avaliação? (para ser justo com a equipe técnica, ao invés de perguntar se a avaliação melhorou, deveríamos perguntar se ela ficou mais bem adaptada para lidar com alunos de baixo desempenho).

 

 

Author: Simon

Simon Schwartman é sociólogo, falso mineiro e brasileiro. Vive no Rio de Janeiro

2 thoughts on “Creso Franco: melhorou a prova, mas não os estudantes”

  1. Parece que deveriamos olhar a variação dos escores do Brasil com relação ao escore mediano do mesmo grupo sócio-econômico — América Latina, BRICS?

    Aliás, seria interessante o comportamento dessa tendência de grupo a longo prazo — será que refletiria, p.ex., a maior exposição dos estudantes a Internet?

    Isso me faz lembrar dos gráficos de número de publicações por ano dos pesquisadores brasileiros: há um crescimento que parece excelente. Porém está presente para todos os países, portanto refletindo mais a oferta de revistas para publicação do que a capacidade do pesquisador em escrever artigos.

  2. Prezado Simon:
    Boa noite!
    Muito interessante a observação de Creso Franco sobre a calibração da prova ao perfil do aluno latino.Neste sentido, o que está em jogo é a proficiência do teste.Esta sensibilidade do teste, afetou os resultados para os Estados Unidos com seu contingente de latinos, negros e pobres? Idem para França com seu ciganos?
    Atenciosamente,
    Ana Maria de Rezende Pinto

Leave a Reply to Felipe G. Nievinski Cancel reply

Your email address will not be published.

This site uses Akismet to reduce spam. Learn how your comment data is processed.

Wordpress Social Share Plugin powered by Ultimatelysocial