Author: Simon Schwartzman

Recebi vários comentários sobre a nota que publiquei a respeito da informação misteriosa divulgada pelo O Estado de São Paulo, atribuida a Ricardo Paes e Barros, de que “dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%”, e que baseado nisto o Ministro da Educação iria propor um aumento do número obrigatório de dias letivos por ano nas escolas do país. Na minha nota, disponível aqui, eu observava que, se isto fosse verdade, a educação brasileira teria seus problemas resolvidos em poucos anos, sem precisar de melhorar a capacitação dos professores, equipar melhor as escolas, organizar e corrigir os currículos, etc – um verdadeiro milagre!  De onde teria vindo este dado? O que o autor ao qual ele é atribuido tem a dizer a respeito?

O autor permanece em silêncio, mas os dados provêm de uma “meta-análise” feita há tempos para a Fundação Ayrton Senna, que procura consolidar os resultados de um grande número de pesquisas sobre educação feitas no Brasil e no exterior.

Ruben Klein, um dos principais pesquisadores brasileiros na área de educação, enviou o seguinte comentário sobre esta estimativa:

“Entrei no site do Instituto Ayrton Senna e olhei os comentários sobre calendário escolar e não achei essa afirmativa dos 44%. Realmente, é preciso cobrar de onde veio isso.

Mas no site, sobre calendário escolar, vem destacado: “Impacto esperado: Aumentar em 29% o aprendizado anual”, tipo os 44%.

Resultados de estudos de fora ou daqui, cheios de contextos explícitos e não explícitos, dependentes do modelo de análise utilizado, não podem ser transpostos para outros lugares e situações e transformados em percentuais de desvios padrão de outras avaliações, etc. Para mim, essas extrapolações não tem base científica.

Um erro metodológico comum que se vê a toda hora é falar em aumento percentual de desempenho, como os 44% de aumento. Não dá. O percentual depende da escala considerada e dos valores arbitrados para a média.

Na escala de 0 a 100, um aumento de 44% para um aluno com nota 80 ou 100, ultrapassa o 100, obviamente um absurdo. Outros exemplos, um aumento de 20 para 40 é 100% de aumento. Um aumento dos mesmos 20 pontos de 80 para 100 é um aumento de 25%.

Outro exemplo, o SAEB tem uma escala única para as séries. Um aumento de 44% para a média dos alunos do 5º ano, em matemática, em 2009, cerca de 200, leva a média para 288, um aumento de 88 pontos, ultrapassando a atual média da 3ª série do EM. Para o EM, média em cerca de 275, um aumento de 44% dá um crescimento de 121 para 396. Observem que o aumento no EM é muito maior que o do 5º ano. Vejam o milagre como bem o Simon observou. Teríamos alcançado as metas do Todos pela Educação e as metas do IDEB.

Outro exemplo, na escala do PISA. o Brasil tem uma média em torno de 400. Um aumento de 44% leva a 576. Outro milagre. Passamos a Finlândia. Observem que 176 pontos equivalem a um aumento de 1,76 desvios padrão do PISA.

Os 29% dão números menores, mas não muda o quadro.

Outra afirmação que apareceu na imprensa foi sobre a redução do número de alunos na turma, que também dá um percentual extraordinário de ganho no desempenho. Essa afirmação é sobre um estudo no Tennessee, EUA. Transposto para a Califórnia, em escala global, foi um desastre.”

Esta história ilustra bem um problema muito comum que ocorre quando pesquisadores chegam a determinados números aparentemente simples, mas estimados de forma precária e duvidosa, e passam depois a querer adotá-los como base de políticas públicas de grande alcance.  O raciocínio parece ser que números permitem estabelecer metas e avaliar políticas, e isto seria mais importante do que a qualidade e validade do número em si. É por isto que muitos insistem em definir uma linha de pobreza oficial para o Brasil, ou obrigar todas as escolas a colocar os resultados do IDEB nas portas, ou publicar nos jornais as avaliações das escolas, cursos superiores e universidades baseadas nas médias do ENEM ou no “conceito preliminar de cursos” calculado pelo INEP.

Estes abusos no uso de números alimentam os argumentos de muitos que dizem que a educação é importante demais para ser reduzida a números, e acabam se opondo a qualquer tipo de avaliação e mensuração de resultados.  Eu certamente não penso assim, mas é importante que os números sejam utilizados como instrumentos de apoio para o entendimento da realidade, e não como seu substituto, um  feitiche que esconde e deforma, mais do que revela e nos ajuda a entender

Diz “O Estado de São Paulo” de 22 de setembro de 2011:

“Dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calendário previsto – sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%, disse ontem o secretário de ações estratégicas da Presidência da República, Ricardo Paes de Barros. Ele elaborou um levantamento com base na análise de 165 estudos nacionais e internacionais sobre o tema.”  A notícia acrescenta que o Ministro da Educação, baseado neste estudo, vai enviar ainda este ano um projeto de lei ao Congresso aumentando o número de horas de aula nas escolas brasileiras.

A notícia causou perplexidade entre os especialistas, porque nunca antes na história das pesquisas educacionais, que se saiba, uma coisa tão simples mostrou ter um resultado tão espetacular. Se isto for assim, para que continuar falando em melhorar a formação de professores, estruturar os currículos, formar diretores de escola, e inclusive aumentar os salários dos professores?

Este milagre anunciado da educação brasileira se soma a outros menores, como a melhora desempenho dos estudantes em matemática no IDEB em 2009, as melhoras do PISA e, agora, a melhora no ENEM em relação ao ano passado (sobretudo na prova de redação, suponho, que é a que tem maior peso na nota, embora seja a mais difícil de padronizar para permitir comparações).

Neste ritmo, chegamos fácil à meta de alcançar e superar os países da OECD até 2022!

Ricardo Paes e Barros é um pesquisador competente e respeitável, e está devendo à comunidade de especialistas em educação maiores detalhes sobre este achado tão espetacular.

Na próxima terça-feira (30), acontecerá a 7ª edição do Fórum Globo News, com tema sobre educação, políticas educativas e formação para as futuras gerações. A jornalista Monica Waldvogel será a mediadora do debate que terá a participação do economista e subsecretário da Secretaria de Assuntos Estratégicos da presidência da República, Ricardo Paes de Barros; do sociólogo e cientista político do Instituto de Estudos do Trabalho e Sociedade do Rio de Janeiro, Simon Schwartzman; da pedagoga Paula Lozano; do professor Ivan José Nunes Francisco; do psicólogo e PhD em Educação e presidente do Instituto Alfa e Beto, João Batista Araújo e Oliveira; e do professor de Geografia da Escola Municipal Tasso da Silveira, de Realengo, no Rio, Luciano Pessanha, que vai falar da tragédia que aconteceu neste ano. O evento será em São Paulo no Hotel Hyatt, das 9h às 12h.

Os detalhes sobre o Forum estão disponíveis aqui.

Um palpite sobre a avaliação do desempenho

João Batista Araujo e Oliveira, Presidente do IAB

Devagar com o andor, concordo. Sobretudo com os que carregam o andor do primeiro santo milagreiro que passa.

Meu guru nesta área é um velho, mas também atualizado analista e crítico de sistemas de “merit pay” chamado Richard Murnane, da Universidade de Harvard. Ele tem um estudo antigo sobre o tema, e de vez em quando volta ao assunto. Nos seus trabalhos mais recentes, ele observa que nos estudos mais rigorosos sobre desempenho de professores, a variância de um mesmo professor ao longo de anos é de 50%.  E começou a investigar os fatores subjacentes.

De um lado ele suspeita que a maioria dos professores costuma dar o que tem – a ideia de que eles teriam algo mais a dar se houver benefício pode ser equivocada.  Uma boa triagem poderia ser muito mais eficaz do que incentivos – ou, se você quiser, os incentivos deveriam ser para atrair e manter os melhores – e para isso, claro, a avaliação de desempenho dos alunos é o melhor indicador. Não confundir o uso de indicadores com o uso de sistemas de incentivos.  De outro lado ele levanta algumas hipóteses para a gigantesca variância – nível de par ou ímpar –  e oferece duas boas suspeitas. Uma delas são perturbações da ordem – uma classe com um ou mais alunos que perturbam além dos limites ou incidentes desse tipo que derrubam os melhores esforços por terra. A outra é que a variabilidade de métodos de ensino dentro de uma escola – o que milita a favor da consistência típica das antigas escolas confessionais e, de certa forma, dos nossos sistemas estruturados de ensino. O aluno que a cada ano aprende frações de um jeito dificilmente vai render muito –por melhor que seja o professor.

Há soluções? Sim, incentivos podem ser uma delas, mas há muitas outras, mais básicas, que o Brasil ainda não fez. E sem essa, corremos o risco de colocar azeitona num pastel de vento.

No momento em que o Rio de Janeiro enfrenta uma greve de professores contra o sistema de premiação por desempenho das escolas implantado pela Secretaria Estadual de Educação, causou grande impacto a notícia de que a cidade de New York havia interrompido um programa semelhante de pagamento por mérito, porque não tinha mostrado resultados.  Se os americanos chegaram a esta conclusão,  não significa isto que os sindicatos têm razão, e que esta política de incentivos, adotada também pela prefeitura do Rio, pelas secretarias de educação do Estado de São Paulo, Pernambuco,  Minas Gerais e em outras regiões, deveria ser abandonada?

Devagar com o andor. New York interrompeu um programa experimental e voluntário de três anos, que não mostrou resultados por uma série de fatores analizados em um estudo detalhado da Rand Corporation, mas por outro lado a cidade de Washington continua implementando um programa vigoroso de bonus para professores que mostram bons resultados e demissões para os que não conseguem desempenhar minimamente suas funções.

Existem muitas razões pelas quais um sistema de incentivos pode não funcionar, o que não significa que não seja importante reconhecer, prestigiar e premiar quem mostra dedicação e resultados em seu trabalho; apoiar e ajudar a quem se esforça mas não consegue ir adiante; e, no limite, punir ou afastar quem não tem motivação ou condições de fazer o que precisa ser feito.

Uma parte importante da discussão sobre os sistemas de premiação por desempenho é o uso de testes como indicadores de resultados. Uma das críticas é que eles podem levar as escolas e professores a treinar os alunos para os testes, deixando o resto da educação de lado. Eles podem levar escolas a só aplicar os testes aos melhores alunos, como parece estar acontecendo com a Prova Brasil, afetando o IDEB; e existe ainda o problema de as escolas e os professores não saberem interpretar os maus resultados em um teste, nem saber o que fazer para melhorar, ficando somente com o estigma do mau desempenho.

E no entanto, se bem desenvolvidas e utilizadas, avaliações por testes são insubstituíveis como instrumentos para saber o que está acontecendo, identificar problemas e buscar soluções. Nos debates havidos sobre testes e sistemas de mérito, o que fica cada vez mais claro é que, sozinhos, eles não conseguem resolver os problemas da educação, e podem até piorar a situação, pelas resistências e clima de conflito que podem gerar; mas que podem ter um papel muito importante se usados como parte de uma política mais ampla de melhora da educação.

Dois artigos recentes também do New York Times (que me foram gentilmente enviados, já devidamente traduzidos, pela vereadora Andrea Gouvea Vieira) mostram muito bem isto, ao discutir o posicionamento recente da conhecida educadora Diane Ravitch contra o uso dos testes (a tradução dos textos para o português está disponível aqui). Um deles, de Paul Tough, cita o Secretario de Educação de Massachussetts, Paul Reville, para o qual “estratégias tradicionais de reforma não irão, de um modo geral, permitir a superação das barreiras para o aprendizado dos alunos em condições de pobreza”.  Segundo o autor, “os reformistas também precisam tomar medidas concretas para tratar toda a gama de fatores que mantêm o atraso dos estudantes pobres. Isso não significa esperar sentados por utópicas transformações sociais. Significa levar para as salas de aula estratégias específicas, baseadas em intervenções fora da sala de aula: trabalhar intensamente com as famílias menos favorecidas para melhorar ambientes domésticos para crianças pequenas; fornecer educação de alta qualidade na primeira infância para crianças de famílias mais necessitadas; e, quando as aulas começarem, proporcionar aos estudantes pobres um eficaz sistema de apoio emocional e psicológico, além, naturalmente, do apoio acadêmico”.

O outro artigo, de David Brooks, é ainda mais contundente. Segundo ele, “Ravitch acha que a solução é se livrar dos testes. Mas é um caminho que só levaria a uma letargia e mediocridade perpétua. A verdadeira resposta é manter os testes e responsabilidade, mas certificando-se de que cada escola tenha um sentido claro de missão, um principio e uma cultura moral forte que se faça sentir ao se chegar na sua porta. A tese de Ravitch é de que os Estados Unidos têm escolas locais humanizadas que estão ameaçadas por fanáticos por testes. O fato é que várias escolas ficaram espiritualmente exauridas e até os grandes professores estão lutando numa cultura inerte. São os reformistas que normalmente criam a paixão, usando os testes como alavanca. Se a sua escola ensina para testar, não é culpa do teste, mas sim dos diretores”.

Todos os que  conhecemos minimamente a Prova Brasil e o IDEB sabemos de sua importância e do avanço que representou. Mas nem todos sabemos de sua fragilidade.  Isso ainda é mais grave no caso da Provinha Brasil e do ENEM.  Em todas as provas há um problema de documentação insuficiente.  No caso da Prova Brasil, há um problema grave de calibração dos itens, que fragiliza e ameaça a comparação das Provas. Até hoje, que eu saiba, ninguém soube explicar o aumento dos resultados de 2009.  No caso do IDEB, a ideia de que 6 pontos no IDEB equivalem à média dos países desenvolvidos é tão crível quanto os contos da Carochinha – mas todo mundo acredita nisso. No caso da Provinha Brasil e do ENEM inexiste validade de construto. E por aí vai.  Tendo em vista a virtual inexistência de pessoas formadas em psicometria entre nós, e os riscos dos consensos e pressões existentes nos relatórios de organismos internacionais, parece-me que a forma adequada de realizar uma auditoria técnica seria por meio da contratação direta de especialistas, que assinariam seus pareceres individualmente, com o peso de sua reputação.

João Batista Araujo e Oliveira

Presidente do Instituto Alfa e Beto