João Batista Araujo e Oliveira é presidente do Instituto Alfa e Beto, que trabalha com educação infantil e alfabetização escolar. Diz ele:

A pergunta do Simon era a respeito de possíveis explicações para a melhoria dos resultados dos alunos brasileiros em matemática, mas não em outras disciplinas.  A resposta de Creso Franco  é muito interessante e plausível, tanto do ponto de vista educométrico quanto psicométrico: o teste inicialmente era pouco sensível à legião de alunos situados na cauda à esquerda da curva.

O quadro abaixo, apresentado por André Portela em seminário realizado na Fundação Getúlio Vargas no dia 6 de Novembro de 2013, ajuda a entender um pouco mais:

pisa1

pisa1pisa1

Isto significa mostra que a amostra do  PISA sobre-representou os alunos do segundo e terceiro anos do ensino médio, e isto puxou a média para cima.

O quadro abaixo apresenta os dados da evolução dos alunos das escolas públicas nas provas de matemática da Prova Brasil:

pisa2

De acordo com esses dados houve um aumento de 9 pontos entre 2005 e 2007, depois disso não houve aumento significativo que possa explicar melhorias no desempenho em matemática dos alunos no Pisa. A rede particular não aumentou sua nota na Prova Brasil, e no Pisa a melhoria da média parece se dever mais ao melhor desempenho dos piores alunos.

Além desses problemas,  as sub-amostras dos estados também não são representativas – esta é uma questão empírica que pode ser confirmada pelos especialistas.  Enviei email para o Andreas Schleicher , coordenador do PISA na OECD sobre isso, mas não recebi resposta. Transcrevo abaixo a comunicação que me foi enviada por Steve Heyneman, quando lhe indaguei a respeito de procedimentos a respeito das sub-amostras. Para quem não conhece, Steve Heyneman é professor de Educação Comparada da Universidade do Peabody College da Universidade de Vanderbilt, foi presidente da Sociedade Internacional de Educação Comparada e trabalhou durante mais de 20 anos no Banco Mundial.

The U.S. adheres to the guidelines set out by the BICSE (Board on International and Comparative Studies in Education) of the National Academy of Science. I was a member of that Board. Briefly the guidelines say that no comparisons should be made unless the samples are representative IN ALL CASES. In other words, U.S. states are bound to adhere to this before being able to participate. The role of OECD is to ensure this same principle is applied to ALL countries and to all subunits within countries. If OECD did not do this in the case of Brazil, or in the case of some Brazilian states, then it should be public information and OECD should be criticized for not doing its job. When this has occurred in other instances (Latvia and China come to mind) the scores were published, but left below the line in all charts and graphs. Countries listed below the line were known to not have representative samples and were not to be formally compared with countries above the line. Should this have been the case with some Brazilian states? (email de Steve Heyneman para João Oliveira, 4 de dezembro de 2013).

Na apresentação feita por Andreas Schleicher na FGV em São Paulo no dia 6 de dezembro ele fez duas afirmações pertinentes à presente discussão que merecem registro.  A primeira é a de que não há porque se preocupar com o fato de um país melhorar mais do que numa disciplina do que em outra – na série histórica do Pisa isso é um padrão recorrente. A segunda é a de que a nota de 3 páginas sobre o Brasil que aparece no texto do Relatório (pp76-79) é uma nota redigida pela OCDE e INEP (para quem não leu vale a pena ler, qualquer semelhança com press-releases do governo federal é mera coincidência).

Claramente estamos diante de um problema de falta de rigor na coleta e na apresentação dos dados. E parece que estamos diante de um problema de “malpractice” por parte do INEP e da OCDE na supervisão do Pisa no Brasil.  O objetivo do Pisa é fornecer informações para tomada e decisões. O diálogo e o debate em torno do Pisa deve ter como único objetivo servir a causa da verdade.  Minha pergunta aos leitores e frequentadores do blog do Simon: não é nossa responsabilidade cívica formalizar um pedido de esclarecimentos ao INEP e à OCDE?  Se o leitor for um parlamentar ou jornalista: não é sua responsabilidade investigar o tema?

No site do IAB (www.alfaebeto.org.br) o leitor interessado poderá encontrar mais informações sobre o Pisa em geral e o Pisa 2012 em particular.

 

 

pisa1

Trackback

no comment untill now

Sorry, comments closed.