A Folha de São Paulo publica hoje, 1 de setembro de 2008, o artigo abaixo de João Batista Araujo e Oliveira:
ESTRANHO país, o nosso. Em 2006, pela primeira vez na história, um ministro da área reconheceu publicamente que a qualidade da educação brasileira era deplorável, ao apresentar os resultados da Prova Brasil. Nos últimos dias, no entanto, deu-se o inverso. E a propaganda oficial contribuiu para isso. Confundem as sombras com a realidade. Estamos na caverna de Platão.
Em edições recentes das revistas semanais, o governo apresentou uma curva de fazer inveja a Huff e Geis, autores do já quarentão “How to Lie with Statistics” (como mentir usando estatística). Vejamos os dados, depois, as implicações.
O Ideb, indicador oficial do desempenho da educação brasileira, mistura taxas de aprovação com notas dos alunos, aferidas pela Prova Brasil.
Embora seja relevante melhorar as taxas de aprovação, o indicador de qualidade deveria se refletir, isso sim, nas notas. Somente esse índice serve para comparar nossos resultados com os do Pisa.
Qualquer pessoa medianamente versada na matéria sabe distinguir flutuações estatísticas de tendências.
No caso da Prova Brasil, com um desvio padrão que pode variar de 40 a 50 pontos, flutuações inferiores a seis pontos para mais ou para menos, como vem ocorrendo ao longo dos últimos 15 anos, representam pouco mais do que meros ruídos. Seriam relevantes se fossem consistentes.
Ao longo da série histórica de sete aplicações da prova, sempre tivemos flutuações nas provas de português e matemática das três séries avaliadas.
Em 1997, houve quatro flutuações negativas; em 1999, foram seis; cinco, em 2001; uma, em 2003; e quatro, em 2005. Em 2007, todas as flutuações foram positivas. Do total de 20 mudanças negativas, 13 foram inferiores a seis pontos.
A única alteração relevante, em 2007, deu-se nos resultados de matemática na quarta série (11 pontos), o que, certamente, não pode ser justificado por uma política específica para a área. Explicações plausíveis seriam a maior homogeneidade na idade dos alunos (pela eliminação dos de maior idade, no geral com pior desempenho) e o fato de os resultados de matemática serem bastante inferiores ao de língua portuguesa, o que facilita a conquista de melhor patamar.
Já no indicador geral do Ideb, houve mudança de quatro décimos nos resultados da quarta série, um décimo nos resultados da oitava série e nenhuma mudança nos resultados do ensino médio. Exceto no ano de 1999, em que houve queda mais acentuada, os dados não sugerem nenhuma tendência -apenas flutuações em torno de patamares medíocres.
O gráfico usado na propaganda oficial comete duas violações graves. Primeiro, apresenta como descendente praticamente tudo o que vem antes de 2003. Os dados não suportam essa representação. Segundo, aponta como ascendente tudo o que vem a partir de 2005 -e apresenta como se fosse uma tendência.
A maior manipulação, no entanto, se dá na inclinação das curvas e no tamanho dos degraus da caminhada rumo ao mundo desenvolvido.
Esse apelo da propaganda oficial pode prestar um enorme desserviço ao corajoso trabalho de convencimento que o ministro da Educação vem fazendo sobre a gravidade do problema educacional.
Entende-se que prefeitos e autoridades estaduais tenham comemorado pífias melhorias do Ideb, de resto apoiadas essencialmente em alterações nas regras de promoção. Do total de 84 Idebs -são 26 Estados com três Idebs cada-, apenas 14 apresentaram mais de 5% de melhora. Desses, 12 estão em Estados do Norte, Nordeste e Centro-Oeste, onde é muito mais fácil melhorar pelo simples fato de que os dados de base são muito baixos.
A experiência internacional é cheia de ensinamentos a respeito dos ingredientes de como se deve fazer uma reforma da educação e as condições básicas de sucesso. A formação de um consenso sobre os problemas é um primeiro passo essencial. Antes de consolidar essa convicção, já começamos a nos iludir.
Quando Huff e Geis publicaram seu livro, há mais de 40 anos, o objetivo era alertar o leitor para os perigos das manipulações estatísticas. Em 2006, o Brasil deu um passo avante para iniciar uma reforma da educação. Agora, deu dois passos para trás. Mascarar a gravidade da situação dificilmente contribuirá para avançar na formação de consenso na área. Sugerir que já estamos a caminho do sucesso é puro ilusionismo.
JOÃO BATISTA ARAUJO E OLIVEIRA , 61, psicólogo, doutor em educação, é presidente do Instituto Alfa e Beto. Foi secretário-executivo do Ministério da Educação.
Enquanto isto em Timóteo…
fomos processados pelo Ministério Público porque nossos filhos estão sendo educados fora da escola. Mesmo após terem sido aprovados em 7º e 13ºlugares em uma faculdade particular aos 13 e 14 anos. A justiça ignorou o resultado e fomos condenados sem sermos ouvidos. Isto mesmo, não houve uma audiência de julgamento. Não tiveram nem a curiosidade de checar se foi pura sorte ou se os garotos realmente estavam preparados. Só um ano e meio depois, no processo criminal, decidiram testar os meninos, ou melhor, prepararam uma armadilha. Mesmo assim o tiro saiu pela culatra. Os meninos foram aprovados com médias 68 e 65, nos testes que grande parte dos estudantes até mesmo do ensino médio falhariam. Resta saber qual será a decisão da “justiça”. Nos permitirão seguir nosso caminho ou nos condenarão por colocarmos a mão na massa e fazer o que o Estado assumidamente não faz?
Partilho da análise e preocupações do prof. José Francisco e quando vejo os índices de aprovação do governo Lula pergunto-me: será que estamos cegos, nós, a minoria que vê o quanto de engodo e mentira têm nesse governo?
Excelente o artigo do João Batista. É exatamene o que penso! E nessa euforia de resultados pífios, que não vai levar a nenhuma melhora efetiva dos indicadores da educação no país, é preciso muita informação e muito quesionamento sobre as statisitc lies. São perigosas e enganadoras. Daqui a pouco está todo mundo pensando que
estamos bem obrigado na educação…
Muito bom este artigo. Quando vejo aquela propaganda, me parece, como quase tudo “nesse” governo, um uso deturpado de dados. Temos visto isso constantemente. Críticas totalmente oportunas.