{"id":797,"date":"2008-10-01T11:35:03","date_gmt":"2008-10-01T14:35:03","guid":{"rendered":"http:\/\/www.schwartzman.org.br\/sitesimon\/?p=797&lang=pt-br"},"modified":"2008-10-01T13:14:26","modified_gmt":"2008-10-01T16:14:26","slug":"roberto-verhine-ajudando-a-entender-a-nova-avaliacao-de-ensino","status":"publish","type":"post","link":"https:\/\/www.schwartzman.org.br\/sitesimon\/roberto-verhine-ajudando-a-entender-a-nova-avaliacao-de-ensino\/","title":{"rendered":"Roberto Verhine: ajudando a entender a nova avalia\u00e7\u00e3o de ensino"},"content":{"rendered":"

Recebi a nota abaixo de Robert Verhine, professor da Universidade Federal da Bahia e membro da Comiss\u00e3o Nacional de Avalia\u00e7\u00e3o do Ensino Superior, com pedido de publica\u00e7\u00e3o. Ainda que a nota s\u00f3 fa\u00e7a refer\u00eancia ao artigo publicado recentemente por Cl\u00e1udio de Moura Castro na revista Veja, ele se refere indiretamente tamb\u00e9m \u00e0 cr\u00edtica que eu tenho feito ao conceito, dispon\u00edvel neste blog.<\/em><\/p>\n

Tenho lido textos de autoria de Cl\u00e1udio de Moura Castro desde quando eu era aluno de p\u00f3sgradua\u00e7\u00e3o nos Estados Unidos, nos idos da d\u00e9cada de 70. Moura Castro \u00e9 um pensador l\u00edder no campo da Economia da Educa\u00e7\u00e3o e seus freq\u00fcentes artigos, publicados na Revista Veja, t\u00eam servido para esclarecer temas complexos, al\u00e9m de habitualmente endere\u00e7ar t\u00f3picos controversos de forma independente e reveladora. Por essa raz\u00e3o, fui surpreendido pelo artigo publicado na Veja de 24 de setembro \u00faltimo, sob o t\u00edtulo \u201cQuem entendeu a nova avalia\u00e7\u00e3o de ensino?\u201d, que oferece uma linha argumentativa confusa, baseada em informa\u00e7\u00e3o incompleta e, por vezes, distorcida.<\/p>\n

O artigo tem como foco o Conceito Preliminar de Cursos (CPC), que Moura Castro erroneamente chama de Conceito Preliminar de Avalia\u00e7\u00e3o. Este \u00edndice, composto por tr\u00eas indicadores e com escala de cinco n\u00edveis (1 a 5), foi criado pelo MEC para identificar cursos com problemas potenciais. Com base na legisla\u00e7\u00e3o vigente, todos os cursos da Educa\u00e7\u00e3o Superior devem ser visitados uma vez a cada tr\u00eas anos, mas a realidade aponta para a impossibilidade do atendimento dessa freq\u00fc\u00eancia, pela simples raz\u00e3o de que o n\u00famero dos cursos \u00e9 grande demais (mais de 20.000) e que continua a crescer. O CPC foi criado como resposta a esse problema, viabilizando a avalia\u00e7\u00e3o ao permitir identificar, no conjunto dos cursos, aqueles que necessitam da visita ao tempo que, com base em informa\u00e7\u00f5es confi\u00e1veis e j\u00e1 existentes, atribui um escore aos demais. Tendo isso em vista, foi implementada uma abordagem diferente para cada um de dois grupos de cursos. No primeiro grupo, todos os cursos nos n\u00edveis mais baixos da escala (n\u00edveis 1 e 2) devem ser visitados por uma comiss\u00e3o composta por membros da comunidade acad\u00eamica especialmente treinados nessa avalia\u00e7\u00e3o. Durante a visita, tr\u00eas aspectos do curso – sua organiza\u00e7\u00e3o pedag\u00f3gica, corpo social e instala\u00e7\u00f5es \u2013 s\u00e3o cuidadosamente avaliados e, como resultado, um conceito final \u00e9 emitido. Do segundo grupo fazem parte os cursos que recebem um CPC de 3, 4 ou 5. Esses cursos podem, se desejarem, solicitar uma visita de avalia\u00e7\u00e3o. Contudo, se n\u00e3o o fizerem dentro de 30 dias, o conceito preliminar \u00e9 mantido como conc eito final.<\/p>\n

No seu artigo, Moura Castro n\u00e3o fornece nenhum dado sobre o prop\u00f3sito do CPC, concentrando-se em censuras n\u00e3o contextualizadas. O autor come\u00e7a criticando a composi\u00e7\u00e3o do \u00edndice, argumentando que o mesmo foi criado a partir da soma de indicadores muito d\u00edspares. Pior ainda, para ele, \u00e9 o fato de esses indicadores serem pouco conhecidos individualmente. Esse argumento n\u00e3o se sustenta quando se observam outros \u00edndices, igualmente compostos por indicadores os mais diversos, como \u00e9 o caso, por exemplo, do \u00cdndice de Desenvolvimento Humano (IDH), do \u00cdndice de Desenvolvimento Econ\u00f4mico (IDE) e do \u00cdndice de Qualidade de Vida (IQV). Todos esses s\u00e3o comumente utilizados para sintetizar, em uma \u00fanica escala, vari\u00e1veis representativas de diferentes dimens\u00f5es de um mesmo fen\u00f4meno. No caso do CPC, como Moura Castro afirma, dois dos indicadores (os resultados do ENADE e o IDD) referem-se aos resultados da Educa\u00e7\u00e3o Superior e o terceiro (composto por quatro sub-dimens\u00f5es) abrange insumos do curso. Esses indicadores s\u00e3o bastante conhecidos por aqueles envolvidos com a comunidade universit\u00e1ria e est\u00e3o descritos detalhadamente, assim como o CPC, no site do INEP. Para a popula\u00e7\u00e3o n\u00e3o universit\u00e1ria, espera-se do CTC o mesmo n\u00edvel de conhecimento obtido pelos exemplos de \u00edndice citados acima. Al\u00e9m disso, \u00e9 incorreto declarar que o CTC seja uma mera soma de tr\u00eas indicadores. Para seu c\u00e1lculo, como indicado na p\u00e1gina do INEP, os tr\u00eas indicadores s\u00e3o ponderados de acordo com equa\u00e7\u00f5es matem\u00e1ticas complexas.<\/p>\n

Estranhamente, Moura Castro \u00e9 cr\u00edtico do fato de um indicador de insumo ser considerado na formula\u00e7\u00e3o do \u00edndice, vez que isso equivaleria, em suas palavras, a julgar um restaurante a partir da \u201cmarca do fog\u00e3o, os hor\u00e1rios dos cozinheiros ou o n\u00famero de livros de culin\u00e1ria dispon\u00edveis\u201d. Digo estranhamente por que avalia\u00e7\u00f5es externas da Educa\u00e7\u00e3o Superior, uma pr\u00e1tica hoje estabelecida regularmente em mais de 50 pa\u00edses, focalizam primariamente os insumos. Da\u00ed por que, nesses locais, tais avalia\u00e7\u00f5es envolvem visitas que objetivam verificar, in loco, as condi\u00e7\u00f5es (ou seja, os insumos) que o curso ou institui\u00e7\u00e3o oferecem. A id\u00e9ia de focar os resultados, como proposto por Moura Castro, \u00e9 teoricamente interessante, mas traz em seu bojo o problema de mensur\u00e1-los adequadamente. Testes, a exemplo dos utilizados pelo ENADE ou pelo Prov\u00e3o, s\u00e3o limitados e capturam, no melhor dos casos, apenas uma por\u00e7\u00e3o daquilo que deve ser aprendido ou conhecido ao final de um curso de gradua\u00e7\u00e3o. O ENADE \u00e9 especialmente fraco nesse aspecto, por usar apenas 40 itens (30 sobre a forma\u00e7\u00e3o espec\u00edfica e 10 sobre a forma\u00e7\u00e3o geral), n\u00famero obviamente insuficiente para avaliar o conhecimento necess\u00e1rio ao exerc\u00edcio de uma profiss\u00e3o de n\u00edvel superior. Ademais, como observado por Moura Castro, os desempenhos nos testes sofrem influ\u00eancias de fatores externos, tais como a situa\u00e7\u00e3o familiar, a prepara\u00e7\u00e3o na Educa\u00e7\u00e3o B\u00e1sica, os n\u00edveis de motiva\u00e7\u00e3o e de intelig\u00eancia do respondente. Nesse sentido o IDD, que compara os resultados de alunos ingressantes com aqueles dos alunos concluintes, \u00e9 um indicador bastante \u00fatil por apontar o que o curso adicionou aos alunos.<\/p>\n

Ali\u00e1s, ao discutir o IDD, Moura Castro omitiu dois aspectos importantes. Primeiro, o IDD \u00e9 muito mais sofisticado que o que ele pareceu destacar. O indicador n\u00e3o \u00e9 uma mera subtra\u00e7\u00e3o da nota dos calouros daquela dos formandos, mas, particularmente, estima, baseado nos dados dos ingressantes, uma expectativa de nota final. Para isso considera n\u00e3o apenas os escores dos testes, mas tamb\u00e9m a educa\u00e7\u00e3o dos pais e a seletividade do curso (percentagem dos ingressantes que concluem a gradua\u00e7\u00e3o). Dessa maneira, o IDD representa a diferen\u00e7a entre os escores observados e esperados dos formandos e, assim, pode gerar tanto um escore positivo (quando o observado supera o esperado) quanto negativo (quando o observado \u00e9 inferior ao esperado). Moura Castro refere-se ao IDD como \u00cdndice de Diferen\u00e7a de Desempenho quando, em verdade, o nome completo \u00e9 \u00cdndice de Diferen\u00e7a entre os Desempenhos Esperado e Observado.<\/p>\n

A segunda omiss\u00e3o feita \u00e9 o n\u00e3o reconhecimento de que o IDD apenas funciona quando ambos os grupos de alunos (ingressantes e concluintes) est\u00e3o motivados a responder, da melhor maneira que possam, o teste. Seria um desastre se os ingressantes optassem por obter uma nota baixa, dessa maneira contribuindo para um IDD artificialmente maior. Para evitar esse tipo de comportamento, os resultados dos ingressantes foram incorporados (com peso total de 27,5%) \u00e0 nota do curso no ENADE. Assim, interessa \u00e0 institui\u00e7\u00e3o incentivar os alunos, nas duas pontas do curso de gradua\u00e7\u00e3o, a efetivamente participarem da avalia\u00e7\u00e3o, sob pena de prejudicarem a nota do curso. Moura Castro critica tal inclus\u00e3o, declarando que a mesma \u201cpremia o curso superior que atrai os melhores alunos\u201d. Tal fato tamb\u00e9m ocorreria mesmo se os resultados dos ingressantes n\u00e3o fossem inclu\u00eddos, vez que os resultados dos concluintes s\u00e3o sempre influenciados pela qualidade dos alunos na entrada. Em outras palavras, n\u00e3o faz sentido defender a import\u00e2ncia do IDD, por um lado, e criticar a inclus\u00e3o dos resultados dos ingressantes na determina\u00e7\u00e3o do conceito do ENADE, por outro.<\/p>\n

Moura Castro finaliza seu ensaio declarando que \u201cparece inapropriado entregar ao p\u00fablico uma medida t\u00e3o confusa\u201d. O mesmo pode ser dito sobre o ensaio que, infelizmente, foi disponibilizado ao p\u00fablico apesar de conduzir a novas confus\u00f5es.<\/p>\n","protected":false},"excerpt":{"rendered":"

Recebi a nota abaixo de Robert Verhine, professor da Universidade Federal da Bahia e membro da Comiss\u00e3o Nacional de Avalia\u00e7\u00e3o do Ensino Superior, com pedido de publica\u00e7\u00e3o. Ainda que a nota s\u00f3 fa\u00e7a refer\u00eancia ao artigo publicado recentemente por Cl\u00e1udio de Moura Castro na revista Veja, ele se refere indiretamente tamb\u00e9m \u00e0 cr\u00edtica que eu … Continue reading “Roberto Verhine: ajudando a entender a nova avalia\u00e7\u00e3o de ensino”<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_crdt_document":"","footnotes":""},"categories":[11],"tags":[],"class_list":["post-797","post","type-post","status-publish","format-standard","hentry","category-educacao-superior"],"_links":{"self":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/797","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/comments?post=797"}],"version-history":[{"count":5,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/797\/revisions"}],"predecessor-version":[{"id":800,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/797\/revisions\/800"}],"wp:attachment":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/media?parent=797"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/categories?post=797"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/tags?post=797"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}