Mais uma nota, somente para leitores com estômago para controvérsias infindas. Data vênia, examinemos alguns dos argumentos levantados por Verhine na sua última intervenção.
1. Sobre a inexistência de Provões pelo mundo afora, minha teoria é que não se trata de uma solução politicamente palatável. Suspeito que muitos países gostariam de ter o seu Provão, mas que falta coragem ou viabilidade política para implementá-lo, sobretudo, em sociedades com sistemas educativos muito maduros e rígidos. Em países como os Estados Unidos, apaixonados pelos testes, as provas desse tipo são usadas para certificação profissional (médicos, advogados, contadores). Ou seja, a oposição é vencida por estarem os testes fora do sistema educacional e dentro de instituições com forte peso corporativista. Portanto, propensas a criar barreiras de entrada (nos casos citados, são justificadas).
2. Verhine tem muita razão ao dizer que o Provão/ENADE amostra muito pouco dos traços requeridos para um bom desempenho profissional. Contudo, as alternativas existentes são ainda menos adequadas. O número de candidatos por vaga, o número de Rhodes Scholars e os muitos outros indicadores usados nos Estados Unidos e dentre nós são até mais inaptos para prever desempenho profissional. Basicamente, as provas testam se os alunos aprenderam o que o curso teria tentado ensinar. Pouco mais dizem. Portanto, nesse aspecto, o Provão é o teste menos ruim.
3. Sobre o tamanho e confiabilidade da prova, acho que pairou uma ambiguidade, tanto no argumento meu quanto no dele. Estamos falando de testes para etiquetar indivíduos ou para tomar a média dos escores e dar nota em um curso? Enquanto a prova for usada para a segunda alternativa, a precisão torna-se muito menos crítica. Para tais usos, talvez não seja tão importante uma prova longa. É diferente o caso dos exames de ordem, seja aqui seja em outros países, pois determinam o futuro profissional do candidato. Portanto, o custo do erro é muito maior. Se o ENADE passasse a ser um passaporte, usado pelos alunos para pleitear empregos ou exigido pelos potenciais empregadores, neste caso, realmente deveríamos pensar em reduzir a margem. O que não quer dizer que a prova não possa ser melhorada.
4. No presente, o uso mais “high stakes” do ENADE é para tomar decisões quanto às políticas do MEC, vis a vis cada faculdade. Acima de certa nota, não precisará pedir autorização para expandir vagas. Se a nota for realmente ruim, o curso entra no índex do MEC, sendo penalizado e obrigado a fazer revisões. Nesse segundo caso, estamos falando de um processo que deveria contemplar duas etapas. Se o ENADE revela notas baixas, entra em cena uma segunda fase, mais aprofundada, em que se inclui a avaliação institucional, que pode conter as variáveis de processo (cuja inclusão no CPC sou contra). Contudo, essa avaliação institucional não pode ou não deve ser feita por atacado. Não é possível aferir a confiabilidade ou honestidade das informações prestadas à distância, sobretudo, no caso de instituições que mostraram mau desempenho no ENADE. É preciso enviar visitadores para conferir e para sentir a realidade da instituição. Em outras palavras, no único caso em que as variáveis de processo serviriam para alguma coisa, se forem informações prestadas pelos interessados, não são confiáveis. Se é assim, por que perder tempo coletando esse mundo de dados? Questionários aplicados nos alunos, por outro lado, têm muitos usos. Mas não como instrumento para avaliar a excelência do ensino Em uma pesquisa que realizei, muitos anos atrás, comparando cursos de economia, encontrei uma relação inversa entre qualidade e opinião dos alunos. Ou seja, quanto melhor o curso, mais críticos eram os alunos.
Dear Simon,
In fact, Brazil is not the only country trying to measure the learning outcomes of higher education students. A growing number of countries have been applying Provão-like tests either nationally (UK, Australia, Colombia, Jordan) or in some institutions (for example the Collegiate Learning Assessment in the USA systematically used by the Texas University system or by individual colleges). In addition, the OECD is planning to launch an international test called ALEHO
that will compare the learning outcomes of higher education students across institutions in various countries. In many countries, the accountability debate has indeed moved towards measures of learning outcomes in higher education similar to what was attempted in Brazil with Provão and now ENADE.
Best wishes
Jamil
Simon, meu caro:
Concordo basicamente com a idéia de uma “segunda visita” para sentir melhor a instituição depois de um provão com resultados ruins. O que tenho notado (ainda que não esteja envolvido com a área de graduação) é que a fúria fiscalizativa do MEC se resume a “papéis”.
Chegam comissões de avaliadores que se trancam em salas com muitos Ps (PDIs, PPEs e outros papelórios)–que podem ou não refletir a realidade–depois disso dão uma volta pela faculdade conversam com alguns alunos e emitem um parecer.
As faculdades gastam fortunas para satisfazer aos requerimentos dos papéis (há consultorias muito bem pagas que fazem isso) para a visita e depois as coisas voltam a ser como eram: boas ou ruins, depende do caso. Mas as visitas têm pouca eficácia, exceto colocar os administradores universitários em pânico para “botar os papéis em ordem.”
Não sou avaliador, mas trabalham comigo vários professores que são e o manual de avaliação cada dia tem mais páginas, mas a inspeção mesmo, resume-se ao papelório.
Trocado em miúdos, o governo quer fiscalizar, mas não tem capacidade para fazê-lo de maneira eficaz, o que torna tudo um grande faz de conta.
Abraço do
Alex