Renato Pedrosa, IEA/USP e Fapesp
No final da tarde de 31/08/2023, uma mesa da Reunião Anual da Associação Brasileira de Avaliação Educacional (ABAVE) discutiu a necessidade de se reformar o ENEM, em vista das mudanças recentes ocorridas no Ensino Médio. Coordenada pelo ex-presidente do INEP, Reynaldo Fernandes, que liderava o INEP quando o ENEM foi reestruturado em 2009 e passou a ser o instrumento central do sistema de acesso às instituições federais de ensino superior, foi composta por Manuel Palácios, atual presidente do INEP, pelo presidente do CONSED e secretário da educação do Espírito Santo, Vítor de Angelo, e por Ricardo Enriques, presidente da Fundação Unibanco e especialista em educação.
Após uma boa introdução ao tema por Fernandes, Palácios comentou que o ENEM está congelado em seu formato e metodologia desde 2009 e que mereceria ser revisado, mencionando as mudanças por que passou o EM recentemente; Angelo mencionou a urgência da reforma do exame, já que os estudantes do ensino médio estão recebendo uma formação distinta daquela que existia quando o exame foi formulado, incluindo agora os chamados itinerários formativos opcionais; e Enriques, questionou se manter o modelo atual ou uma alteração descuidada poderiam levar o exame a ter impactos na equidade do acesso ao ensino superior.
Em entrevista no início de agosto[1], o ministro Camilo Santana afirmou que o ENEM não seria alterado até que as propostas para o Novo Ensino Médio sejam discutidas e aprovadas (ou não). O ministro, pensamos, está correto, e por mais de uma razão. Entre elas, porque a lógica por trás do pedido de urgência por mudança não se justifica, mas há outras, discutidas a seguir.
O que falta ao debate é explicitar claramente qual é o objetivo do exame; isso posto, muito do debate em curso deixa de ser relevante. O ENEM não é avaliação do ensino médio, nem de escolas nem de sistemas ou subsistemas; é, exclusivamente, avaliação individual de estudantes para fins de seleção ao ensino superior. O INEP reconheceu isso quando, em 2017, deixou de divulgar médias das notas do ENEM das escolas, que a imprensa utilizava para criar rankings[2]. Especialistas foram ouvidos pelo INEP, que tomou a decisão correta.
Para avaliar o ensino médio, existe o SAEB de 3º ano desse ciclo. Em que esse exame difere do ENEM? Isso precisa ser explicitado e explicado, pois já começaram as sugestões de mudar o ENEM e deixar de realizar o SAEB. O INEP, em sua justificativa para suspender a divulgação das notas das escolas, diz:
“Para o Inep, o Sistema de Avaliação da Educação Básica (Saeb) tem instrumentos mais adequados para a avaliação da qualidade da educação ofertada nos sistemas de educação e nas escolas brasileiras. Para fortalecer esse entendimento, desde 2017 o Saeb ampliou a aplicação da prova para o ensino médio da rede pública, tornando-a censitária.”
Os detalhes da justificativa não cabem nessa nota, mas incluem: cada aplicação do SAEB conta um conjunto de itens muito maior do que o ENEM, cobrindo toda a matriz de avaliação da formação, tanto em termos de proficiências como de nível de dificuldade. Estudantes não fazem todos uma prova única, mas uma amostra das questões, e os resultados são consolidados e fornecem os escores por escola/sistema. Análise estatística a posteriori pode eliminar respostas de estudantes consideradas inválidas, algo impossível de se fazer em um exame do tipo ENEM. Itens são pré-testados, o que geraria problemas de segurança em prova competitiva como o ENEM (já aconteceu). Esse processo melhora a qualidade da avaliação em vários aspectos. Um deles é que o SAEB tem uma escala de proficiência estabelecida por critério, ou seja, sabe-se onde estaria uma escola ou um sistema em termos de proficiência da formação, por exemplo, se o nível dos estudantes é mesmo de 3º ano ou de anos anteriores. Nada disso é feito ou é possível de se fazer no modelo do ENEM, que avalia desempenho individual e não proficiência de grupos de estudantes[3].
Voltando ao ENEM: o modelo atual está defasado e precisa ser reformulado? Talvez, mas não há nenhum estudo que aponte de forma clara que o exame é deficiente para seu objetivo central, novamente, de selecionar estudantes para o ES. Pode ser que seja, ou pode ser que não seja. Voltemos ao argumento que vem sendo levantado para justificar a necessidade e a urgência da reforma: o ENEM atual não avalia a formação em itinerários opcionais possibilitados pelo chamado Novo EM. De fato, mas, cabe a pergunta: é possível se avaliar tais formações, que podem ser muitas, inclusive de caráter aplicado e profissionalizante, em provas escritas? E a questão da formação técnica, adotada como alternativa na reforma, não deveria então também ser avaliada no ENEM, para não deixar os que nela seguiram em condição desigual quanto ao acesso ao ES? Lembremos que os IFETs e CEFETs utilizam o ENEM para o acesso, também. E, por que não pensar em incluir outros aspectos da formação, que vão além daqueles de caráter diretamente ligados aos conteúdos, como capacidade de trabalhar em grupo, capacidade de se expressar oralmente, etc, etc, etc?
Alguns dirão que isso seria totalmente fora do alcance de uma prova escrita. De fato, e é por essa razão que muitos países utilizam, além de exames ao final do ciclo, as avaliações desenvolvidas ao longo do EM, de todos os tipos. Por exemplo, nos Estados Unidos, as notas do EM sempre foram consideradas e, recentemente, exames do tipo ENEM (SAT) vêm sendo abandonados pelas universidades em seus processos seletivos, inclusive por algumas das mais seletivas[4]. Na Alemanha, todas as notas dos últimos dois anos do EM, inclusive de educação física, contam para o processo seletivo, juntamente com exames ao final, realizados pelas escolas, incluindo provas orais e escritas. Ou seja, se o argumento for, de fato, que o atual ENEM não avalia toda ou a maior parte da formação proporcionada pelo EM, o veredito é que nenhuma bateria de exames escritos, aplicada ao final ou após a conclusão do EM, cumprirá essa missão. Ou seja, precisamos reformar o sistema de seleção e não apenas prova usada para esse fim.
Um sistema que incluísse as avaliações desenvolvidas ao longo do EM teria uma grande vantagem sobre o modelo atual: o treinamento para o ENEM, seja qual for seu modelo, deixaria de ser o único objetivo de muitas escolas, valorizando-se não só o processo de aprendizagem como modelos variados de avaliação, ou seja, os muitos anos de trabalho de estudantes e professores. Aos que dizem que isso é impossível, estudos mostram que as notas obtidas na escola são melhores preditores, em geral, das chances de estudantes concluírem seus cursos superiores, do que exames do tipo ENEM[5].
Concluindo: o ministro tem razão, esperemos a finalização dos debates sobre o EM e, até lá, quem sabe, façamos um bom estudo sobre se o atual ENEM cumpre seu papel de selecionar estudantes para o ES, os dados estão na mão do INEP, ou seja, do MEC. E, seja qual for o veredito, não seria interessante pensar em novos modelos de seleção para o ES, que fossem além de uma bateria de provas do estilo ENEM, atual ou reformado, como fazem muitos países?
Notas
[1] https://educacao.uol.com.br/noticias/2023/08/02/ministro-educacao-camilo-santana-uol-entrevista.htm
[2] http://portal.mec.gov.br/component/tags/tag/enem-por-escola
[3] Sobre essa diferença, ver OECD (2018). PISA 2018 Technical Report, Chapter 15. OECD site. https://www.oecd.org/pisa/data/pisa2018technicalreport/
[4] https://www.nytimes.com/2021/05/15/us/SAT-scores-uc-university-of-california.htm
[5] Chapter 6: Test Scores and High School Grades as Predictors, em Bowen, W.G., M.M. Chingos e M. McPherson (2011). Crossing the Finish Line. Princeton Un. Press, Princeton, NJ, EUA.