Escreve Renato H. L. Pedrosa, Coordenador do Grupo de estudos em Educação Superior, Centro de Estudos Avançados, Unicamp (foi Coordenador Executivo do Vestibular da mesma universidade).

ENEM no lugar da Prova Brasil?

A proposta do Ministro da Educação, Aloizio Mercadante, anunciada recentemente (21/08/2012), de usar o ENEM no lugar da Prova Brasil para compor o IDEB (Indicador de Desenvolvimento da Educação Básica) do ensino médio não deveria prosperar. Será que alterar os indicadores utilizados traria alguma melhoria ao sistema? Nesse caso, não só não traria, como a qualidade do indicador se tornará altamente questionável. Os problemas com essa proposta são de ordem acadêmica (conteúdos), metodológica (desenho das provas) e demográfica (populações envolvidas).

A Prova Brasil herdou do SAEB (Sistema de Avaliação da Educação Básica) o melhor sistema de avaliação que o Brasil já desenvolveu, com escala de proficiências bem estabelecida, um sistema amostral apropriado e eficiente, resultando em uma série histórica que permite comparações. É um sistema de avaliação exemplar, um dos melhores em existência no mundo, aplicado há mais de 15 anos, testado, validado, que deveria ser exemplo para outros sistemas desenvolvidos pelo MEC (mas infelizmente não o é).

Sobre o Enem, por outro lado, três anos após a mudança de 2009, ainda não se sabe o que significam as notas, se 500 pontos indicam que a pessoa sabe alguma coisa ou não, pois a matriz de proficiências não está associada à escala utilizada. O exame não é aplicado de forma a cobrir todas as áreas da matriz nem a atingir todos os níveis de habilidade, como ocorre com a Prova Brasil. Em suma, não foi desenhado para ser instrumento de avaliação de sistema, nem de escolas, mas do nível geral de conhecimentos de indivíduos, em forma competitiva (adequada para seleção ao ensino superior, apenas isso).

Além disso, a população que faz o Enem é auto-selecionada, o candidato se inscreve por opção própria. Não é uma amostra representativa de todos os segmentos da população educacional que está no último ano do EM, nem é censitário. Segundo reportagens disponíveis, o ministro Mercadante teria dito que o ENEM é “quase censitário”. Nem chega perto: em 2010, segundo dados do MEC, 221 mil alunos da rede particular e 790 mil da rede pública fizeram a prova. Como havia quase 2,2 milhões de matriculados na 3a série do EM naquele ano, apenas 46% dos alunos deles participaram do Enem. Além disso, cerca de 88% dos estudantes estavam matriculados na rede pública, sendo que, na população que fez o Enem, a proporção cai para 78%. Portanto, trata-se não só de uma população que não chega nem perto de ser censitária, mas é um grupo que não representa a população como um todo. Mais, com a proposta de haver mais de um ENEM por ano, como seria possível utilizar todos os resultados como avaliação do sistema?

Com todas essas restrições, o MEC, desde a mudança 2009, vem ampliando as instâncias de utilização dos resultados do exame, sem parar para analisar se esses usos se justificam. Divulgam-se as notas médias das escolas, mesmo que ninguém tenha a menor ideia do que essas notas significam. Ou seja, é apenas um “ranking” do desempenho médio dos estudantes daquela escola que optaram por fazer o Enem. Utilizam-se os resultados das provas para dar diplomas a estudantes que nem mesmo terminaram o ensino fundamental. As notas de corte também nunca foram justificadas e recentemente o MEC anunciou alteração nos valores. Por quê? Não eram apropriados? Nada se diz sobre o tema, especialistas desconfiam que as notas de corte são pouco mais do que as notas que um estudante obteria escolhendo aleatoriamente as respostas. Desde 2011, a nota do ENEM serve para avaliar o desempenho dos estudantes nos cursos universitários, junto com o ENADE (Exame Nacional de Desempenho Escolar). Por que isso faria sentido? Como serão avaliados os cursos onde os estudantes não participaram do Enem? Talvez a razão seja de ordem econômica, mas as consequências da mudança aparentemente não foram bem estudadas e avaliadas e, mais de um ano após a adoção da medida, o MEC ainda não divulgou como a nota será utilizada.

Uma pergunta fica no ar: por que o MEC propôs essa nova alteração? O ministro ouviu os técnicos do INEP, em particular a secretaria de avaliação da EB? Ouviu outros especialistas em avaliação, que usualmente prestam consultoria ao INEP? Foi mencionado que o ENEM indicaria melhora do sistema. Como poderia indicar isso, se não tem nenhuma validade para avaliar o sistema. Aliás, é de se esperar que o desempenho no ENEM melhore, cursinhos de preparação proliferam de norte a sul. Nada a ver com melhora do EM.

O SAEB e seu sucedâneo (Prova Brasil) são o que de melhor o MEC já desenvolveu em termos de avaliação educacional no Brasil, com uma experiência acumulada de mais de 15 anos. Por que outra mudança? Por que não, primeiramente, estabelecer qual é a escala do ENEM, utilizando como referência escalas e matrizes do SAEB/Prova Brasil?

Os especialistas em avaliações do país precisam se manifestar sobre o assunto, apontando as falhas dessa proposta, e a total falta de oportunidade da mesma. O que o ENEM precisa é se estabilizar, se desenvolver como exame a ser utilizado no acesso ao ensino superior, que já é tarefa bastante desafiadora, como sabemos. A Prova Brasil deve ser mantida e aperfeiçoada, em particular no que tange à divulgação dos dados em relatórios completos (o último relatório completo do SAEB é de 2006, sobre o exame de 2003).

O ensino médio, após atingir picos de participação e de concluintes em 2003-2005, mostra uma queda preocupante nas matrículas e nos concluintes. O nível de eficiência do sistema está em torno de apenas 50% (concluintes sobre matriculados na primeira série do EM). Estudantes estão ingressando no ensino superior sem um mínimo de proficiência, não apenas nas áreas relacionadas aos seus cursos, mas mesmo na própria língua materna. É preciso que o MEC e as secretarias de educação dos estados parem para refletir sobre o que vem ocorrendo, trabalhar de forma coordenada e sistemática para melhorar o EM. Mudar, para pior, a avaliação do mesmo não vai ajuda nessa tarefa.

 

Trackback

9 comments untill now

  1. Respondendo à convocação de Renato Pedrosa:

    Subscrevo totalmente o artigo dele, e junto-me a ele para convocar todos os especialistas no tema
    e responsáveis pelas redes estaduais de educação a se manifestar. O calor subiu, querem mudar
    o termômetro.

    Antes de mexer no teste é preciso alinhar o ensino médio com o que existe no resto do mundo. Enquanto ficarmos presos ao enigmático conceito de “educação geral” e não perdermos o preconceito contra o
    ensino profissionalizante continuaremos a massacrar a juventude brasileira com um ensino médio totalmente inadequado, inclusive para os que almejam continuar no ensino superior

    João Batista Oliveira
    Presidente do Instituto Alfa e Beto

  2. Elizabeth Balbachevsky @ 2012-08-24 12:35

    Assino em baixo. Essa notícia estapafúrdia, que ameaça jogar no lixo 15 anos de boas práticas, precisa ser combatida. Esse movimento do MEC é mais uma das inúmeras políticas centradas na produção de indicadores e não de qualidade.

  3. Renato Pedrosa @ 2012-08-24 14:25

    Caro João Batista,

    obrigado pelo comentário e apoio. Eu creio que o Luiz Cláudio Soares (INEP), pela conversa que tive com ele no semestre passado sobre o Enem, seria receptivo a argumentos acadêmicos. É fundamental, ao meu ver, não quebrar a série histórica de dados sobre a EB que temos. Já é e continuará a ser fonte imnprescidível de informações para orientar políticas sobre a educação básica em nosso país.

  4. Maria Helena de Magalhães Castro @ 2012-08-24 15:14

    Junto-me a ambos, Renato e João Batista. Infelizmente voltamos aos tempos em que a educação era tratada como moeda política. Desde janeiro de 2003 já tivemos 7 presidentes do INEP, 6 da SESu e 4 ministros. Precisamos respeitar o que temos e assegurar horizontes de medio e longo prazos para podermos acompanhar e refinar nossas avaliações e politicas. Notas incompreensíveis esvaziam a avaliação de sua principal função: a de apoiar a melhoria da qualidade. Sem compreender o que medimos, não identificamos os problemas. Falta informação publica para que as avaliações e programas possam ser compreendidos, discutidos e melhorados. Nossas instituiçoes, como INEP, SESu, SAEB, ENEM, etc. são patrimônio publico e merecem respeito. Contem com meu apoio contra mais uma proposta mal informada e predatória.

  5. Renato Pedrosa @ 2012-08-24 16:39

    Caro João Batista,

    obrigado pelo comentário e apoio. Eu creio que o Luiz Cláudio Costa (INEP), pela conversa que tive com ele no semestre passado sobre o Enem, seria receptivo a argumentos acadêmicos. É fundamental, ao meu ver, não quebrar a série histórica de dados sobre a EB que temos. Já é e continuará a ser fonte imnprescidível de informações para orientar políticas sobre a educação básica em nosso país.

  6. Renato Pedrosa @ 2012-08-27 11:59

    Cara Maria Helena, um dos fatores que contribuiu para a instabilidade recente no INEP foi a adoção do ENEM como fator preponderante no acessoa ao ES. Eu creio que tal exame não deveria ser responsabilidade de um órgão de pesquisas, que é a missão original e principal do INEP. Seria como se o IPEA tivesse a missão de desenvolver consursos de admissão para a carreira pública federal, por exemplo. É hora de criar um órgão, nos moldes do College Board americano (responsável pelo SAT), autônomo, para desenvolver o ENEM, um exame de alto impacto que exige um sistema de segurança altamete desenvolvido. O INEP poderia então voltar à sua missão principla, de desenvolver pesquisas educacionais. Mais uma razão para não se misturar ENEM e avaliação do EM.

  7. Acir Mário Karwoski @ 2012-08-27 21:53

    Gostei das reflexões, professor Renato Pedrosa. Avaliação é um assunto sempre discutível pois é preciso levar em consideração o que, como, por que, pra que e pra quem avaliar. Avaliação é sempre processo dialógico, formativo. Buscar resultados mediante avaliação nem sempre é um bom propósito. Devemos avaliar as competências e habilidades dos estudantes pro mundo da empregabilidade. Concordo com a professora Elizabeth Balbachevsky. O sistema tem 15 anos, está adolescente. Em pouco tempo vira jovem, cresce, torna-se robusto. Remendos, mudanças de regras sem ampla discussão do processo de avaliação da qualidade da educação não são bons sinais de sipostas melhorias. Ou cria-se um sistema paralelo, para ter contrapontos, ou extingue-se o existente, criando-se um novo. Ajustes para um novo IDEB não me parece uma boa solução, comparando Prova Brasil com ENEM. Acho que no MEC / INEP há pessoas sensatas e inteligentes para junto com as universidades e escolas não deixarmos esquecido o que se fez há quinze anos em avaliação da qualidade da educação no Brasil.

  8. Renato Pedrosa @ 2012-08-28 08:54

    Caro Acir: estabilidade na coleta de dados, em qualquer sistema, é essencial e só se justificam alterações quando são detectados problemas metodológicos ou conceituais relevantes. Não é o caso nem do SAEB, nem da Prova Brasil, pelo contrário. Interessentemente, veja o que dizia o MEC em uma notícia de 14/09/2011, ainda disponível no link http://portal.inep.gov.br/todas-noticias :

    ” O Inep não divulga médias do Enem por estado, município, região ou outros tipos de agregações, isso porque não é possível realizar as ponderações necessárias, considerada a adesão voluntária dos estudantes ao exame.

    O Sistema Nacional de Avaliação da Educação Básica, Saeb, desde 1990 avalia o desempenho das redes de ensino de todo o país a partir de uma avaliação amostral que é planejada para a divulgação de resultados representativos por estado, região e outras agregações. Comparações de desempenho entre redes, estados ou dependências administrativas (rede pública, rede particular) devem pautar-se em dados do Saeb, desde que considerados os fatores sociais, econômicos e culturais das redes de ensino. Os resultados do Saeb podem ser interpretados pedagogicamente por meio de uma escala de proficiência.”

    No dia seguinte (15/09/2011), trata mais do assunto, referindo-se ao SAEB/PB:

    “O Inep concebe e realiza avaliações em larga escala com os objetivos de aferir o desenvolvimento de determinados saberes ao longo da escolarização e acompanhar a qualidade de ensino ofertada em nosso País.

    As avaliações em larga escala possuem diferentes objetivos e finalidades e são desenvolvidas a partir de metodologias específicas que permitem aferir, com maior profundidade, informações sobre os sistemas de ensino e sobre o desempenho individual dos estudantes. Cada exame, em função de suas especificidades, permite interpretações e análises cujo alcance varia de acordo com a metodologia empregada, o público a que se destina e as instituições envolvidas.”

    E faz a seguinte observação sobre o ENEM:

    “O Inep, tendo em conta que o número de participantes do Enem varia consideravelmente de escola para escola, divulgou os resultados do Exame agrupando as instituições de ensino de acordo com as suas respectivas taxas de participação. Mesmo com essa metodologia, não é tecnicamente apropriado promover comparações entre as escolas por diversas razões, entre as quais o fato de o conjunto de seus participantes não configurarem uma amostra representativa.”

    O INEP, portanto, tem clara consciência das limitações metodológicas que pairam sobre o ENEM, para utilizção como avaliação do sistema ou de escolas.

  9. Andreia Cascardo @ 2012-09-02 01:30

    Sou leiga nesse assunto, mas ao ler o texto percebo que a ideia seja basicamente mascarar dados.

    Como a adesão ao ENEM é voluntária e garante aos melhores acesso a um curso universitário, os alunos que participam sabem que é necessário dedicação e estudo (ou de um bom adestramento) para conseguir uma vaga no curso desejado. Assim, os números melhorariam e o governo poderia dizer que nunca antes na história desse país tivemos números tão bons. Repito, números!

    Nosso ex-presidente Lula adora dizer que colocou milhares de pobres na faculdade. O número chega a impressionar, como a falta de qualidade do ensino de muitas dessas universidade/faculdades que se utilizam do sistema para redução de impostos ou coisas piores. Se a troca garantisse aos alunos ensino de qualidade até vai, mas não.

    Números positivos é tudo que o governo precisa, não qualidade, não mudanças. A troca de uma prova conceituada, respeitada e reconhecida por uma que é controlada pelo governo, em que dados são manipulados ao seu bel-prazer é tudo que desejam para mais uma campanha publicitária para enganar a população.

    Tomara que os especialistas em avaliação consigam reverter essa loucura, essa tentativa de controle, de manipulação descarada.

    Parabéns pelo seu texto!