Médias das escolas no ENEM: divulgar ou não divulgar?

Renato H. L. Pedrosa, Laboratório de Estudos em Educação Superior, Departamento de Política Científica e Tecnológica, IG-Unicamp

Recentemente o INEP divulgou sua decisão de deixar de divulgar as médias das notas do ENEM por escola e, imediatamente, ouvem-se críticas de todos os tipos. As mais comuns são:
• Divulgar as notas representa transparência por parte do INEP/MEC, que é um órgão público e deve isso à sociedade;
• Os pais têm direito de saber como as escolas onde seus filhos estudam “desempenham” no ENEM;
• Uma variante dessa: os pais têm direito de saber como as escolas “desempenham” no ENEM para poder escolher onde seus filhos irão estudar;
• A sociedade tem direito de saber como as escolas que recebem verbas públicas “desempenham” no ENEM;
• As médias do ENEM permitem identificar o que funciona e o que não funciona nas escolas e isso seria de utilidade de autoridades educacionais, locais ou regionais;
• Se há problemas de escolas ou empresas buscando burlar o sistema via múltiplos CNPJs (no mesmo endereço), isso deveria ser resolvido pelo próprio INEP.

Note-se que a palavra “desempenham” foi colocada entre aspas no itens acima, e por uma boa razão: escolas não “desempenham” no Enem, quem o faz são alunos, individualmente, por escolha própria. O ENEM não foi construído, em nenhum momento, para ser avaliação de escolas ou de sistemas escolares, por várias razões, entre elas:
• O ENEM é um exame cujo objetivo, no seu novo formato, em vigor desde 2009, é ser instrumento de seleção de estudantes para o acesso ao ensino superior, em suma, de ser um exame vestibular de alcance nacional;
• Exatamente por isso, precisa ser aplicado no formato de provas com formulação equivalente a todos os candidatos, eliminando-se a possibilidade de que cubra todos os conteúdos do ensino médio, em diversos níveis de dificuldade, como ocorre com verdadeiros sistemas de avaliação educacional (SAEB original, PISA);
• É limitado na avaliação de habilidades envolvidas na formulação de respostas, que seria o caso se comportasse itens dissertativos, com perguntas e respostas abertas, sendo composto apenas por itens de múltipla escolha;
• É muito limitado na qualidade da avaliação da escrita, na prova de redação;
• Finalmente, já observado acima, os alunos escolhem fazer ou não o ENEM, portanto a amostra não é representativa de todos os alunos da escola, em diversas situações.

Transformar esse instrumento de avaliação individual, limitado em vários aspectos, num indicador de “qualidade” de uma escola ou de um sistema educacional é um desvio de finalidade, óbvia para quem conhece um pouco a teoria e a prática de avaliações de sistemas educacionais.

Esse debate é matéria de inúmeros trabalhos acadêmicos discutindo a divulgação do escore médio dos estados norte-americanos no SAT, o exame utilizado nos EUA para admissão ao ES, que inspirou a formulação do ENEM. Estudos de diversos tipos mostram que os escores médios dos estados não são significativos, uma vez controladas outras variáveis, entre elas a taxa de participação, o nível educacional dos pais e a renda familiar dos estudantes. Além disso, comparando-se as tendências dos escores do SAT, que declinaram a partir de 1960, observou-se que as avaliações controladas, bem construídas (NAEP), mostravam tendência oposta, o que mostra a importância do desequilíbrio demográfico causado pela decisão individual de se fazer ou não o SAT (*). Esses estudos invalidam o uso das notas do SAT para comparar a qualidade educacional de escolas, de regiões, de subsistemas, etc. Não há porque se duvidar que o mesmo ocorra com os escores do ENEM.

Assim, os argumentos contrários à decisão do INEP tornam-se inócuos, uma vez que, se as notas do ENEM não são válidas para se comparar escolas, os usos dessas comparações também são inválidos. Assim, pais, autoridades educacionais, estudantes, escolas, ninguém, de fato, está usufruindo de nenhum benefício por ter acesso às notas médias das escolas. Estão, infelizmente, sendo enganados em acreditar que isso tem algum significado além daquele para que foi construído, de comparar o desempenho individual de estudantes para o ingresso no ensino superior, que participaram do exame por iniciativa própria.

Sobre a última crítica, que seria tarefa do INEP garantir que escolas não estão burlando o sistema, ora, elas apenas estão burlando por estar o ENEM sendo utilizado de forma indevida, como “avaliação” da qualidade das escolas. Isso não sendo feito, e não havendo a divulgação das notas por escola, elas não terão mais interesse em fazê-lo. Um clássico exemplo das consequências indesejadas de escolhas erradas.

Parabéns ao INEP, a decisão é correta e deve ser defendida por todos que têm real interesse na melhora da qualidade do nosso sistema educacional. Há instrumentos apropriados para avaliar esse sistema, o ENEM não é um deles.

___________

(*)  David W. Grissmer, The continuing use and misuse of SAT scores. Psychology, Public Policy, and Law, Vol. 6 (2000), No. 1, 223-232.

Trackback

only 1 comment untill now

  1. Pedro Flexa Ribeiro @ 2017-03-15 00:17

    De pleno acordo. Depois de tantos anos desse equívoco, é um alento ver o MEC rever seu procedimento. A legitimidade das avaliações depende do uso que se faça de seus resultados. No caso do ENEM, o que traria impacto para o ensino seria o MEC/ INEP fazer chegar às escolas os resultados com as respostas dadas a cada questão da prova. Somente dessa forma haveria impacto pedagógico efetivo. Ao longo dos últimos 7 anos houve pouco empenho do governo nesse sentido.