O IDEB

O Índice de Desenvolvimento da Educação Básica (IDEB)  foi criado em 2005 pelo Ministério da Educação como uma maneira simples e elegante de resumir, em um número, a qualidade de uma escola.  O índice reflete a média das notas da escola na Prova Brasil, em Português e Matemática, multiplicada pela taxa de aprovação, em uma escala que vai de zero a 10. Se todos os alunos se saírem muito bem na prova e ninguém for reprovado, o IDEB é próximo de 10. Se todos os aprovados se saírem muito nem, mas metade  for reprovada, o índice é 5. Se todos forem aprovados mas se saírem muito mal nas provas, o índice também é próximo de 5. Se o desempenho for péssimo e a reprovação muito alta, então o IDEB se aproxima de zero. Isto é calculado em separado para os alunos da 5a  e da 8a série da educação fundamental.

Ao lado de suas virtudes, o IDEB tem dois problemas graves.  O primeiro é que, fora dos extremos, ele pode significar tanto que a escola tem mau desempenho mas promove seus alunos quanto que a escola tem bom desempenho graças à exclusão dos que não se saem bem. Isto significa também que as escolas podem facilmente manipular seu IDEB, até certo ponto, facilitando a promoção automática, e deixando de lado a educação propriamente dita.  O segundo problema é que, como o desempenho e mesmo a evasão dos alunos dependem em grande parte da bagagem social que trazem, escolas com alunos de classe média e alta terão um resultado mais alto no IDEB, mesmo sem muito esforço, do que escolas com alunos de origem mais pobre e condições sociais mais difíceis, mesmo que se esforcem muito mais. É por isto que não me parece adequado “carimbar” as escolas com o IDEB em suas portas, como já fazem alguns estados, como se ele refletisse de fato a qualidade da educação que ela proporciona para o público que recebe.

Daí a ideia das metas do IDEB. Ao invés de olhar  o valor absoluto do IDEB em determinado momento, seria melhor ver como ele evolui. Cada escola teria uma meta em função de sua situação atual, e seria avaliada pela capacidade de progredir em direção a esta meta, e não por sua nota. Escolas com alunos mais difíceis e IDEB mais baixos que conseguissem atingir suas metas estariam claramente melhor do que escolas com IDEB mais alto que não saíssem do lugar. Ideia engenhosa, mas, infelizmente, como mostra Ernesto Martins Faria nesta nota abaixo, publicada anteriormente  no blog da Revista Educação, também não funciona, pelos erros técnicos e de concepção com que as metas foram construídas.

A conclusão não é de que medidas de resultados e metas de melhoria não servem, e devem ser abandonadas. A conclusão é que medidas e metas devem ser de simples entendimento e relacionadas com a realidade das escolas, e não podem se transformar em números cabalísticos que não conseguimos entender mas que precisamos alcançar, que é o que pode ocorrer, como mostra Ernesto, ao entronizar as metas do IDEB no Plano Nacional de Educação.

Metas que não conversam com a realidade

Ernesto Martins Faria* 

O Plano Nacional de Educação (PNE), em tramitação e que vem sendo discutido no Senado, estabelece 20 metas que devem ser alcançadas pelo país. Uma delas (a meta 7) se refere ao Ideb, principal indicador de qualidade em educação que possuímos no Brasil. Ela foi elaborada com base nas metas estabelecidas em 2007 pelo Inep/Ministério da Educação à época da criação do Ideb. Naquele momento, também foram estabelecidas metas para os municípios e escolas.

O Ideb auxiliou muito o acompanhamento da qualidade educacional do país, gerando um olhar sobre indicadores de desempenho, por meio da principal avaliação externa do país (a Prova Brasil), e um olhar sobre a importância de garantir um fluxo escolar adequado (colocando na composição as taxas de aprovação escolar, que são muito baixas em algumas regiões do país).

Não deixando de reconhecer esse mérito, o Inep, em 2007, acabou cometendo falhas na hora de definir metas para o Ideb, que tinham o objetivo de verificar se as escolas e redes evoluíam da forma adequada.

As metas do Ideb atentaram pouco ao contexto educacional das regiões e escolas. Para a construção delas, foi considerado apenas o resultado de 2005, o que trouxe uma influência muito grande do resultado desse ano na avaliação dos resultados seguintes. A rede pública do município de São Sebastião do Alto, no Rio de Janeiro, por exemplo, apresentou um Ideb de 7,3 em 2005 e seu Ideb caiu para 4,8 em 2011. Independentemente disso, a meta do Ideb apresentada para gestão que assumiu em 2013 para esse ano é de um Ideb de 7,9, estabelecido a partir do resultado de 2005.

Outro problema das metas é que algumas premissas da função logística adotada na construção delas são inválidas. O modelo considera que todos os municípios devem, em 2096, atingir um Ideb de 9,9. No entanto, um Ideb 9,9 não é possível de ser atingido, pois, para isso, quase todos os alunos teriam que ser aprovados, e os alunos avaliados teriam que tirar a pontuação máxima na Prova Brasil. Esse valor é tão inatingível que a escola com o maior Ideb no país possuí um índice de 8,6.

Esse horizonte não factível gerou metas muito ambiciosas para redes e escolas que tiveram resultados muito bons em 2005. A rede estadual do município de Trajano de Morais, por exemplo, tinha uma meta de 8,7 em 2011 e tem uma meta de 9,0 em 2021. Por esse problema, todas as redes que obtiveram um Ideb de pelo menos 6,5 em 2005 nos anos iniciais não cumpriram as metas de 2011.

Outro problema é que não houve um estudo sobre qual é o patamar de Ideb que qualquer escola é capaz de obter em curto prazo. Não há um consenso sobre qual é o patamar que indica qualidade, se é um Ideb de 6, de 6,5, de 7, ou outro valor, por exemplo. Também não foi estabelecido qual valor é factível de ser obtido por qualquer escola ou rede do país. Sem esse consenso, redes e escolas com baixo desempenho em 2005 cumpriram facilmente as metas das avaliações posteriores. Com isso, o governo legitimou como positivo o trabalho de algumas escolas e redes em que o nível de aprendizado dos alunos se mostrou muito baixo. Reportagem de Ana Aranha, vencedora do Prêmio Ayrton Senna de Jornalismo, mostra uma escola que, apesar de um resultado ínfimo no Ideb e na Prova Brasil, bateu em 2007 as metas de 2011.

Essa matéria, aliás, aponta, além da importância de se estabelecer um patamar mínimo aceitável, a dificuldade de se estabelecer uma meta agregada para um indicador que une indicadores tão diferentes (taxas de aprovação e resultados em uma avaliação externa). Provavelmente, teria sido mais apropriado fazer metas para esses indicadores separadamente, de modo que a meta agregada fosse a composição das duas individualmente.

Casos de cumprimento da meta de 2021 ou de não cumprimento da meta de 2007 ou de 2009 já não são tão raros, e apontam como as metas são pouco factíveis e estão cada vez mais frágeis quanto mais nos distanciamos de 2005. Isso acontece pois, para indicadores educacionais, o resultado em um passado mais distante tem pouca influência no presente (o desempenho dos alunos em 2005 pouco influencia o desempenho dos alunos em 2013, por exemplo). O avanço poderia acontecer por políticas estruturais que tivessem sido feitas, mas teríamos que ter algum dado que apoiasse a olhar isso.

Por tudo isso, é importante garantir um olhar sobre o que ilustra cada pontuação do Ideb, sobre qual patamar qualquer escola poderia atingir e sobre qual é uma pontuação que já pode ser considerada como ilustrativa de qualidade. Os pesquisadores precisam se posicionar sobre essas questões. Essas respostas são necessárias para que tenhamos um norte de se o Ideb precisa ser aprimorado, e para que as metas a partir dele permitam que se atribua de forma justa uma responsabilização pelo cumprimento das mesmas.

No artigo “Como construir metas a partir de um território organizado em ADEs”, publicado pela editora Moderna, escrevi sobre a importância de metas educacionais conversarem com as condições da escola/rede. No caso do Ideb, para efetivamente podermos chamar as projeções elaboradas de metas, é necessário que elas sejam factíveis e desafiadoras para que possam efetivamente orientar uma gestão. Sem isso, teremos apenas mais alguns números que correspondem a objetivos mal desenhados, e que ajudarão para que esse plano de educação seja frágil como o último.

*Ernesto Martins Faria é economista, mestrando em Gestão e Políticas Públicas na Fundacão Getulio Vargas (FGV) e especialista em análise de dados educacionais. 

Trackback

5 comments untill now

  1. augusto josé de sa campello @ 2013-07-19 23:18

    A respeito de : Metas que não Conversam com a Realidade.
    O tema não me é estranho. Por décadas trabalhei na área de Educação, embora Economista por formação e planejador por especialização. Trabalhei “no balcão”. No serviço público federal.
    Sempre com sérias dificuldades para me entender com meus colegas de trabalho e superiores. Seja em função de term formação universitária diversa da minha seja por não terem formação alguma, a não ser o célebre “quem indica”. Em paralelo, era notória a dificuldade no diálogo entre correntes de pensamento técnico e/ou ideológico dentro dos órgãos governamentais.
    Vivi, então, a Educação em termos nacionais, na cúpola ou no centro de decisões. Mas vivi-a também em contato com as autoridades e os educadores na ponta : nos estados e municípios, nas redes e em contato com seus diversos níveis hierárquicos de atores.
    A percepção que tinha é de que se tratava de diversos mundos diferentes. Com lógicas internas distintas e agendas por vezes francamente divergentes .
    Nesta referida ponta, na qual a Educação se dá, as conveniências muita vez ditavam a regra. Ou seja, se os dados solicitados não se “encaixavam” no que se supunha ser o requerido – para assegurar a “verba”, alguém era encarregado de adequar os dados.
    Formava-se , deste modo, um processo vertical de distorção da realidade que saltava aos olhos quando se interagia com a ponta da ponta, o(s) diretore(s) de escolas das redes municipais e das escolas estaduais porventura presentes no município.
    O resultado era um sonho dentro de um pesadelo. Não havia uma realidade. No máximo haviam muitas realidades. E, muitas delas, distorcidas, inservíveis para se planejar algo ou sequer dar tratamento estatístico capaz de espelhar algo próximo do que se passava. E lá, no centro decisório nacional, no Ministério, isto não era de todo ignorado. E o caminho era tratar os dados. Retirar as extremidades e os muitos pontos fora de curva
    Não sei se este quadro, triste, que tento resumir, ainda se mantém. Mas, considerando o que o autor coloca, não me causa espanto que os IDEBs da vida sejam de pouca valia. Descolados da realidade.
    Boa noite

    P S Além de funcionário público federal, atuei como economista, enquanto consultor. O que me permitiu ver a chamada economia real. Também atuei na política estudantil e , mais tarde, na partidária e sindical. Tenho, pois, uma bagagem diferente da puramente acadêmica.

  2. Felipe G. Nievinski @ 2013-07-21 12:57

    Racionalizar as notas obtidas pelo seu valor esperado, o valor final unitario indicaria uma escola normal; valores anomalos indicariam escolas que estao abaixo do seu potencial (valores menores que 1) ou que fazem mais do que o esperado (valores maiores que 1). A sutileza esta em calcular o valor esperado. Poderia-se fazer uma regressao da nota esperada versus renda familiar mediana da escola. Talvez o modelo teria que ser regionalizado geograficamente. O valor esperado da taxa de variacao temporal da nota seria um pouco mais complicado de estimar, pois exigiria medicoes em pelo menos duas epocas distintas para resolver os parametros. Indicaria escolas onde o esperado seria uma piora ou melhoria no desempenho, devido a respectivamente empobrecimento ou enriquecimento economico da regiao, e outras onde o esperado eh que a performance permaneca a mesma, pois nada mudou nas condicoes. Alias, o resultado dessa calibracao do modelo seria interessante em si, uma vez que indicaria p.ex. o custo do aumento em um ponto na nota da escola, em termos de aumento em um real na renda familiar. Poderia-se discutir se renda eh a melhor variavel independente para a regressao, mas eu diria que essa calibracao, mesclando dados auxiliares socio-economicos da escola com uma medicao preliminar do desempenho de todas as escolas, seria a solucao otima. Repare que essa calibracao nao sao as metas em si; a calibracao eh uma tarefa objetiva, enquanto que o estabelecimento de metas me parece subjetivo, dependendo de quao ambicioso ou fatalista o planejador eh. Acabo com uma epeculacao: sera que o as notas da Capes para os cursos de pos-graduacao nao deveriam tambem ser racionalizadas pelo seu valor esperado, o qual depende da area de conhecimento?

  3. O INEP fez algo parecido para os cursos de graduação, ao estimar o IDD – Índice da Diferença entre o desempenho efetivo e o desempenho esperado dos cursos no ENADE. Isto é interessante como instrumento de pesquisa, mas entre estimar e utilizar estas estimativas para dar notas ou conceitos aos cursos ou escolas me parece que há uma grande distância.

  4. Marcio da Costa @ 2013-07-22 20:22

    Há um agravante: o resultado da Prova Brasil em 2005 deve estar subestimado, dado que fazer provas, especialmente de múltipla escolha, com marcação de cartões-resposta, era algo ausente em boa parte das escolas brasileiras. O “salto” no resultado, para 2007, pode ser resultado apenas de maior familiaridade com o exame. Algo como o efeito teste-reteste.

  5. augusto josé de sa campello @ 2013-07-22 23:48

    Boa noite.
    Meu comentário foi uma tentativa de sugerir ou indicar o porque das distorções que terminam por induzir o distanciamento entre o que se preconiza e a realidade.
    Mantidas as informações apenas no âmbito dos entes federativos.
    Por uma outra vertente, enquanto consultor , não raro acompanhei a evolução sócio econômica de municípios e regiões enquanto, por exemplo, prestava consultoria para empresas comerciais que desejavam expandir suas redes de venda.
    Educação é um tema apaixonante. E, sempre que possível retomava contatos e levantava o que tinha se passado nas redes com o desenvolvimento daqueles municípios e regiões.
    Renda familiar média passando por acrescimos não explicava melhoria de resultados. Outra variável – a expansão das “ocupações irregulares” – favelização, explicava a queda. Foi bem o caso da região serrana do Rio.
    A eventual melhora nos resultados apresentava um fato intrigante. Era puntual. Restrita a uma ou poucas escolas próximas. Nestes casos a resposta estava na gestão das escolas.
    Meus esforços pouco ou nada importam. Estão no passado.
    O campo é fértil. Penso que quanto mais a academia pesquise mais se vai gerar informações válidas. O confronto entre metodologias e o debate, forçosamente conduzirão a uma base capaz de reaproximar metas planejadas da realidade.
    O que preocupa é o fator tempo. Ajscampello