Recebi de Robert E. Verhine o comentário abaixo sobre minha postagem recente sobre os rankings do INEP:
Eu gostaria de oferecer algumas ponderações referentes à postagem de Simon Schwartzman, em seu blog, intitulada “O CONAES e os rankings bizarros do INEP”. Assim como Simon, sou ex-integrante da CONAES, atuando como membro de 2007 a 2013 e como seu presidente durante dois mandatos. Primeiramente, vale ressaltar que a CONAES é uma Comissão, não um Conselho. Em segundo lugar, concordo que o INEP não deveria classificar instituições e cursos de educação superior, pois todos os rankings são suspeitos. Um ranking oficial, carimbado pelo governo federal, não se justifica devido às incertezas envolvidas. Concordo também que o INEP não deve ignorar as determinações da CONAES, que é legalmente responsável pela coordenação e fiscalização do SINAES. Além disso, suspeito que Simon e eu concordemos que é necessária alguma regulamentação do ensino superior e, portanto, deve haver um mecanismo para identificar os cursos e instituições que não cumprem padrões mínimos de qualidade. No entanto, discordo veementemente de sua afirmação do Conceito Preliminar de Cursos (CPC) e de que o Índice Geral de Cursos (IGC): “não faz nenhum sentido, por misturarem de forma arbitrária dados incompatíveis”. Na verdade, ambas as medidas são índices compósitos, constituídos por variáveis mensuráveis que são facilmente operacionalizáveis e que, quando tomadas em conjunto, captam um fenômeno mais complexo. Assim como o IDH, divulgado pelo IBGE, busca medir o desenvolvimento humano através de indicadores representando três dimensões distintas – renda, educação, saúde, os indicadores do SINAES tentam capturar a qualidade de um curso ou instituição da educação superior, também através de três diferentes dimensões – desempenho estudantil, infraestrutura e corpo docente. Indicadores compostos servem tanto para sintetizar quanto para simplificar tópicos complexos, sendo especialmente úteis no setor público para fornecer informações de fácil assimilação a segmentos da população e para orientar a formulação de políticas governamentais e a tomada de decisões.
O CPC e o IGC foram criados para operacionalizar a Lei do SINAES de 2004. De acordo com a referida Lei, a regulamentação de cursos e instituições deveria ser baseada em avaliações fundamentadas em visitas in loco realizadas por comissões compostas por pares acadêmicos. Mas, nos anos iniciais do SINAES, tornou-se evidente que tais visitas, como imaginadas pela Lei, não eram adequadas para fins regulatórios. Devido a restrições orçamentárias e logísticas, não foi possível visitar os mais de 30.000 cursos no país em intervalos regulares. O CPC soluciona o problema sem negar a relevância das visitas in loco, pois serve para identificar, de forma preliminar, cursos potencialmente problemáticos para, em seguida, receberem a visita in loco. Normalmente, apenas cerca de 25% de todos os cursos recebem uma nota CPC insatisfatória, tornando viável o uso de visitas e operacionalizando sua avaliação e subsequente regulação.
O IGC, por sua vez, tem uma finalidade diferente. Em vez de operacionalizar as visitas in loco, ajuda a objetivar tais visitas, pois as mesmas possuem um elemento de subjetividade, algo capaz de minar o resultado de uma avaliação que é de alto risco e de larga escala, como a conduzida pelo SINAES. O IGC é simplesmente a média das notas CPC atribuídas a todos os cursos oferecidos por uma determinada instituição. Se a nota atribuída pela comissão in loco for substancialmente diferente da do IGC, um sinal de alerta é acionado e o relatório da comissão é enviado a uma comissão de especialistas para análise aprofundada. A comissão pode aceitar o relatório, solicitar à comissão visitante justificativas adicionais ou cancelar a visita, exigindo outra em seu lugar. O IGC, portanto, serve para objetivar o processo de avaliação externa, reduzindo a probabilidade de distorção de notas devido ao viés subjetivo dos avaliadores que, em muitos casos, são relativamente inexperientes e têm dificuldade em avaliar a qualidade de uma instituição de forma comparativa.”
Para uma apresentação mais aprofundada dos argumentos acima apresentados, ver: VERHINE, R.E.; DANTAS, L.V. “Brazil’s national system for the evaluation of higher education: context, challenges and perspectives”. Revista de Educação – PUC-Campinas, v. 26, p. 1-13, 2021.
Robert Verhine diz no início concordar que o INEP não deveria divulgar rankings, mas depois argumenta que os rankings são necessários para ter alguma medida objetiva de avaliação para poder regular os cursos etc. Ele diz que estes são “índices compósitos” de variáveis mensuráveis que servem para medir realidades complexas. Mas quando eu somo a médias dos conceitos do ENADE, com peso 20, com um obscuro NIDD, com peso 30, proporção de doutores, com peso 15, e mais algumas outras outras até somar 100%, e obtenho um número, este número não é “complexo”mas simplesmente arbitrário, impossível de interpretar, e produz resultados bizarros.
Os dados não são muitos bons, reconhece, mas é preciso ter algum dado para regular o sistema de ensino superior, eu teria uma proposta melhor? O que precisa mudar, me parece, é a ideia de que o Ministério de Educação precisa ter um instrumento único para avaliar o ensino superior como um todo. O sistema é amplo demais e diferenciado demais para isto Em alguns casos, a avaliação pode ser feita através de certificações obrigatórias para o exercício profissional, como as do exame de Ordem da OAB, ou das especializações médicas. Em outros podem haver certificações voluntárias proporcionadas por instituições privadas. Em outros, basta a reputação das instituiçoes. E seria importante informar ao público sobre o desempenho das instituições e seus cursos com medidas indiretas como empregabilidade e níveis salariais dos formados. O que claramente não funciona é um sistema unificado e centralizado cuja base deveria ser o ENEM, cujos problemas são conhecidos e acabou sendo relegado a 20% do CPC.