Estive revendo as informações disponíveis sobre o ENADE, para um texto que deve ser publicado brevemente (a versão preliminar está aqui). O quadro ao lado, referente aos cursos de medicina nos dois exames, mostra algo que eu já havia assinalado, que é que os resultados do ENADE são em geral muito mais altos do que os do Provão.
O que eu não havia entendido claramente antes é que estes resultados se explicam pela maneira pela qual os conceitos finais do ENADE são calculados. O INEP soma os conceitos da prova de conhecimentos específicos dos alunos que entram com o dos alunos que saem, e ainda com os resultados médios de todos, que entram e saem, na prova geral. As provas têm pesos diferentes – 15%, 60% e 25%, respectivamente.
Isto é muito curioso, porque a idéia, ao examinar alunos que entram e que saem, era ver quanto os cursos adicionavam de conhecimentos aos alunos ao longo dos anos, descontando o efeito da qualificação inicial, ou seja, subtraindo um do outro. Assim, por exemplo, se os alunos que entram tivessem o conceito 30, e ao sair o conceito 80, o ganho seria de 50: mas, se os alunos entrassem com 70, e terminassem com 80, o ganho seria só de 10, e o primeiro curso seria considerado muito melhor do que o outro. Como o ENADE soma os dois resultados, o segundo curso acaba tendo um resultado final melhor, porque os alunos já entram mais qualificados (não usei os pesos nas continhas acima para simplificar).
Não encontrei nenhuma explicação de porque o ENADE faz isto, mas a consequência é clara: a avaliação tende a favorecer as instituições mais seletivas, em geral públicas, e prejudicar as que recebem alunos com pior formação, em geral privadas. Enquanto o provão só media o resultado final, e por isto era criticado, o ENADE piora a situação; só dá um peso de 60% ao resultado, final e dá um bonus às instituições mais seletivas.
O relatório técnico do ENADE 2005, disponível no site do INEP, apresenta um esforço interessante de calcular o valor adicionado pelos cursos em função das características dos alunos que entram, como deve ser. Mas os resultados só são mostrados de forma agregada, não por cursos, e é impossível interpretar o sentido dos números que são apresentados. Que significa, por exemplo, dizer que determinados cursos acrescentam 5, 10 ou 20 pontos aos alunos ao longo de 4 anos? Isto é satisfatório, muito ruim, ou ótimo? Justifica ou não o tempo e dinheiro investidos, dos alunos e da sociedade?
O ENADE tem outros problemas metodológicos graves, que eu discuto no meu texto. A impressão clara é que são vícios de origem e concepção, que não têm como ser sanados por análises estatísticas posteriores, embora competentes.
Os relatórios do ENADE, por curso, podem ser encontrados, em pdf,no site do INEP. A título de exemplo encaminho endereço do relatório do curso de medicina da UFMG: http://enade2005.inep.gov.br/pdf/1205750783106200.pdf
O grande enigma do Enade também está na ausência de tantos estudantes que são dispensados de realizá-lo. Li essa notícia ontem, e por isso eu me pergunto qual o sentido desse exame, quando 1/3 ou um 1/4 dos graduados não participa do certame…