enade

Curva Normal

“Um em cada três cursos de direito tem desempenho ruim no Enade – Administração e economia também tiveram desempenho ruim na avaliação”, anuncia o Portal do O Globo, como se fosse uma grande novidade.  Todo ano é a mesma confusão,  na qual participam não só jornalistas, mas também autoridades governamentais menos avisadas.

Para quem não acompanha de perto, vale a pena explicar: as provas do ENADE são testes de conhecimento aplicados aos alunos que estão terminando os cursos superiores nas diversas áreas de conhecimento.  Conforme a média dos resultados dos alunos de um curso, o curso recebe uma pontuação. Mas o Ministério da Educação não informa quantos pontos são necessários para dizer que o curso é bom. O que ele faz é pegar todas as pontuações e colocar em uma curva que divide os cursos em duas partes iguais, os que estão acima da média e os que estão abaixo, aproximando os resultados do que os estatísticos chamam de “curva normal” (veja o gráfico ao lado).  Depois os dados são divididos em 5 categorias de 1 a 5, de tal maneira que a média de todos os cursos de cada área é sempre 3.  E como se pode ver na curva, quanto mais próximo da média, mais cursos existem, e quanto mais afastados, menos.

Estes dados permitem dizer se um curso ficou melhor ou pior do que outro na prova, mas não permitem dizer que determinado curso é bom ou ruim. Se todos forem ruins, ou se forem excelentes, de qualquer forma metade estará abaixo da média e metade acima.  Estes resultados também não permitem comparar uma área para outra, para dizer que Tecnologia está pior do que o Direito, por exemplo, já que todos tem, por definição, rigorosamente a mesma média, com alguma variação na distribuição das notas ao redor da média ou nos extremos, o que produz pequenas discrepâncias. Estes dados também não permitem dizer se os resultados deste ano foram melhores do que os do ano passado, já que em todos os anos o procedimento é o mesmo, a média é sempre 3 para cada uma das áreas avaliadas, e a grande maioria dos cursos se concentra ao redor da média.

A razão pela qual o INEP faz isto é que ele não tem ou prefere não adotar um conceito claro do que seja um curso ruim, razoável, bom ou excelente em cada uma das áreas de conhecimento (em outras palavras, não existem padrões de qualidade). Se tivéssemos estes padrões poderíamos descobrir, por exemplo, que 70 ou 80% dos cursos de determinada área são de qualidade inaceitável, e deveriam ser fechados ou sofrer intervenção, o que seria realmente uma notícia sensacional. Sem este conceito (que não é fácil estabelecer, e criaria muita insegurança)  podemos ficar com o resultado mais cômodo de que o número de cursos péssimos sempre ficará na casa de poucos por cento.

Então, a única novidade que o ENADE pode trazer a cada ano são eventuais mudanças na posição relativa de determinados cursos na distribuição. Mas isto não dá manchete de jornal, nem justifica entrevistas coletivas de Ministros.

 

 

Trackback

3 comments untill now

  1. Simon,
    Essa noite pelas 2 da manhã eu estava terminando um texto justamente sobre esse assunto para o Cultura Científica. Fui buscar aquela referência de 2005 “O Enigma do ENADE” para fazer referência e colocar um link quando encontrei esse texto. Não importa quantas vezes mostremos que SEMPRE 30% dos cursos estarão abaixo de 3 devido à construção da distribuição de notas. A falta de um entendimento mínimo de estatística por parte das autoridades, seus assessores e jornalistas continuará com essas brilhantes matérias. Qualquer dia vão se surpreender com o fato de 2+2=4!!!

  2. augusto josé de sá campello @ 2013-10-08 16:40

    Boa tarde.

    Muito engraçado, se não fosse sério e deletério.

    A “metodologia” foi usada na indústria e abandonada lá pelos anos 50 do século passado.

    Economia de guerra. Bom, vai para a plataforma de embarque. Excelente também. Ruim, volta ou vai para a sucata.

    Cordialmente. Ajscampello

  3. augusto jose de sa campello @ 2013-10-17 19:24

    Boa noite.

    A metodologia estatistica que foi usada pela indústria tinha por base a utilização de critérios do tipo ” calibre go-no-go” usada na indústria dos USA no esforço de guerra. Ou seja, havia uma coleta de dados feita a partir de uma realidade física.

    Mas, qual , afinal a metodologia usada pelo MEC ?

    O que, no frigir dos ovos me fica, é um mal-estar. Pois, como foi dito por uma comentarista, aqui neste Site e a propósito do mesmo assunto, nosso país parece mal em termos de informações a respeito de sua realidade social. Se não me engano, o critério base (renda) foi alterado para baixo, o que de fato parece ter criado uma nova classe média.

    Um outro dado ou informação pouco discutida seria a respeito da “geração nem, nem ” – nem estuda , nem trabalha.

    Mas, voltando ao ENADE, li, recentemente, que o empresariado continua com dificuldades para contratar mão de obra de nível superior. Havia, inclusive, menção a um novo tipo de analfabetismo funcional – candidatos a cargos de nível superior com sérias dificuldades de redação e de compreensão de textos.

    Muito que bem, é evidente que são apenas notícias, informações esparsas. E o custo de uma pesquisa ou de diversas pesquisas no sentido de trazer clareza, é alto e parece não estar nos planos de organizações públicas.

    Cordialmente, AJ S Campello