{"id":836,"date":"2008-10-18T13:04:50","date_gmt":"2008-10-18T16:04:50","guid":{"rendered":"http:\/\/www.schwartzman.org.br\/sitesimon\/?p=836&lang=pt-br"},"modified":"2008-10-18T13:04:50","modified_gmt":"2008-10-18T16:04:50","slug":"robert-verhine-os-limites-do-enade","status":"publish","type":"post","link":"https:\/\/www.schwartzman.org.br\/sitesimon\/robert-verhine-os-limites-do-enade\/","title":{"rendered":"Robert Verhine: Os Limites do ENADE"},"content":{"rendered":"

Recebi\u00a0 de Robert Verhine o texto abaixo, dando continuidade ao di\u00e1logo sobre a avalia\u00e7\u00e3o do ensino superior:<\/em>
\nConfesso que estou adorando minha nova carreira como blogger. Gostei muito da resposta detalhada (e espirituosa) de Cl\u00e1udio de Moura Castro e das coloca\u00e7\u00f5es gentis e ponderadas de Renato Janine. Ainda que concorde com boa parte do argumento de Castro, n\u00e3o posso resistir \u00e0 oportunidade de fazer mais uma provoca\u00e7\u00e3o, discordando da posi\u00e7\u00e3o de defesa do uso exclusivo (ou quase exclusivo) dos resultados do ENADE para avaliar cursos de educa\u00e7\u00e3o superior (e, implicitamente, das institui\u00e7\u00f5es que os oferecem). Castro afirma que \u201cS\u00f3 Brasil tem uma prova desse tipo, aplicado em graduados. Portanto, podemos e devemos dispensar as medidas de processo\u201d. Ele acrescenta o seguinte: \u201cSe a prova \u00e9 ainda imperfeita, vamos melhor\u00e1-la\u201d, e, como um exemplo de como fazer isto, prop\u00f5e a utiliza\u00e7\u00e3o da t\u00e9cnica de espiraliza\u00e7\u00e3o, atualmente empregada pelo SAEB, em que cada aluno completa apenas uma parte da prova.<\/p>\n

Apresento alguns argumentos. Comecemos com o fato de que o Brasil \u00e9 o \u00fanico pa\u00eds que aplica exames padronizados a alunos de gradua\u00e7\u00e3o para avaliar, em toda parte da na\u00e7\u00e3o, cursos de educa\u00e7\u00e3o superior. Seria interessante saber se Castro tem refletido sobre o porqu\u00ea dessa aplica\u00e7\u00e3o. \u00c9 por que em outros pa\u00edses ningu\u00e9m tem conhecimento dessa maneira de avaliar cursos de gradua\u00e7\u00e3o? Ou \u00e9 por que em outros pa\u00edses existe uma avers\u00e3o geral ao uso de exames, em qualquer n\u00edvel de ensino? Ou ainda \u00e9 porque, diferentemente do caso brasileiro, em outros pa\u00edses n\u00e3o h\u00e1 recursos financeiros suficientes para cobrir os altos custos envolvidos? Acho que a maioria dos leitores concordaria que a resposta para cada uma das perguntas acima \u00e9, sem d\u00favida, \u201cn\u00e3o\u201d. Uma outra hip\u00f3tese me parece ser mais sustent\u00e1vel. Talvez nenhum outro pa\u00eds tenha adotado um enfoque do tipo Prov\u00e3o\/ENADE porque existe uma ampla concord\u00e2ncia com\u00a0 o argumento que fiz no meu ensaio anterior. Neste, apontei que: \u201cTestes, a exemplo dos utilizados pelo ENADE ou pelo Prov\u00e3o, s\u00e3o limitados e capturam, no melhor dos casos, apenas uma por\u00e7\u00e3o daquilo que deve ser aprendido ou conhecido ao final de um curso de gradua\u00e7\u00e3o\u201d.<\/p>\n

Tenho participado com regularidade em encontros internacionais no campo de educa\u00e7\u00e3o comparada (a \u00e1rea de meus estudos de doutoramento). No decorrer do tempo, apresentei v\u00e1rios papers <\/em>sobre a experi\u00eancia brasileira com o Prov\u00e3o\/ENADE. Aproveitei tais momentos para discutir com os acad\u00eamicos presentes, oriundos de diversos pa\u00edses, as quest\u00f5es apresentadas no par\u00e1grafo anterior. Suas rea\u00e7\u00f5es serviram para fortalecer minha posi\u00e7\u00e3o a respeito das limita\u00e7\u00f5es inerentes \u00e0 utiliza\u00e7\u00e3o de exames para medir resultados de cursos de gradua\u00e7\u00e3o. Tais acad\u00eamicos tendiam a enfatizar dois pontos centrais. Primeiro, eles argumentavam que a maioria das profiss\u00f5es relacionadas \u00e0 educa\u00e7\u00e3o superior n\u00e3o requer a acumula\u00e7\u00e3o e memoriza\u00e7\u00e3o de conhecimento test\u00e1vel. Pelo contr\u00e1rio, tais profiss\u00f5es exigem, principalmente, habilidades e compet\u00eancias que abrangem, entre outras coisas, localizar conhecimento quando for necess\u00e1rio e, mais importante ainda, a capacidade para adquirir novo conhecimento, atrav\u00e9s de processos de aprendizagem cont\u00ednua. Tais habilidades e compet\u00eancias s\u00e3o dificilmente captadas atrav\u00e9s de exames padronizados, escritos (embora, \u00e9 claro, o ENEM represente um avan\u00e7o nesse sentido). Assim, os acad\u00eamicos indicam que o uso de testes faz, talvez, algum sentido em \u00e1reas em que a absor\u00e7\u00e3o de conte\u00fados espec\u00edficos \u00e9 intensiva (como direito e contabilidade, por exemplo), mas, para a vasta maioria das profiss\u00f5es, testes simplesmente n\u00e3o captam a ess\u00eancia da forma\u00e7\u00e3o que um curso de gradua\u00e7\u00e3o procura desenvolver. S\u00e3o poucos os que acham que esse problema \u00e9 solucion\u00e1vel apenas \u201cmelhorando\u201d as provas.<\/p>\n

O segundo argumento usado pelos acad\u00eamicos \u00e9 que, mesmo em \u00e1reas em que testar torna-se justific\u00e1vel, \u00e9 imposs\u00edvel desenvolver um teste suficientemente detalhado que possa ser aplicado de forma padronizada em uma amostra (ou popula\u00e7\u00e3o) nacional ampla. Conforme mencionei em meu ensaio anterior, 40 quest\u00f5es (10 para forma\u00e7\u00e3o geral e 30 referentes \u00e0 forma\u00e7\u00e3o espec\u00edfica) simplesmente n\u00e3o s\u00e3o suficientes. Para fazer justi\u00e7a a uma \u00e1rea de forma\u00e7\u00e3o, o teste teria que ser bem mais extenso. O exame da OAB, por exemplo, \u00e9 realizado em etapas, envolvendo, pelo menos, dois momentos diferentes de aplica\u00e7\u00e3o das provas. Nos Estados Unidos, o USMLE (Medicina), o MBE (Direito) e\u00a0 o CPAE (Contabilidade) s\u00e3o provas realizadas em m\u00faltiplas etapas, envolvendo mais do que um dia. Assim, para assegurar a validade dos resultados do ENADE, seria necess\u00e1rio aumentar significativamente o tempo do teste (que \u00e9 atualmente de 4 horas), o que poderia introduzir um fator negativo que \u00e9 o cansa\u00e7o de quem est\u00e1 a ele se submetendo e, ainda, acrescentar em muito o custo global do processo de implementa\u00e7\u00e3o.<\/p>\n

Todos esses elementos me levam \u00e0 sugest\u00e3o feita por Castro referente \u00e0 utiliza\u00e7\u00e3o da abordagem da espiraliza\u00e7\u00e3o no ENADE. O problema \u00e9 que, no meu entender, essa abordagem s\u00f3 funciona quando as amostras s\u00e3o grandes. E \u00e9 devido ao uso da espiraliza\u00e7\u00e3o (em conjunto com sua abordagem amostral) que o SAEB apenas pode revelar tend\u00eancias para os estados, mas n\u00e3o pode fazer o mesmo para os munic\u00edpios e, especialmente, n\u00e3o pode indicar tend\u00eancias para cada escola individualmente. Como conseq\u00fc\u00eancia disso, a Prova Brasil foi criada. No caso do ENADE, as popula\u00e7\u00f5es testadas s\u00e3o frequentemente bem pequenas. O ENADE, n\u00e3o se pode deixar de lembrar, foi desenhado para medir o desempenho m\u00e9dio de cada curso de uma determinada \u00e1rea e\u00a0 o n\u00famero de estudantes envolvidos nos referidos cursos \u00e9, em muitos casos, bastante reduzido. Por exemplo, para o ENADE-2005, cursos tais como os de Matem\u00e1tica e de Qu\u00edmica apresentaram m\u00e9dia de menos de 30 alunos\/curso. Assim, embora a sugest\u00e3o de Castro seja criativa, a verdade \u00e9 que a utiliza\u00e7\u00e3o da espiraliza\u00e7\u00e3o nas provas do ENADE n\u00e3o \u00e9, em termos gerais, tecnicamente vi\u00e1vel.<\/p>\n

Apesar das limita\u00e7\u00f5es inerentes ao modelo Prov\u00e3o\/ENADE, sempre defendi o referido modelo, por tr\u00eas raz\u00f5es. Em primeiro lugar, considerando que a utiliza\u00e7\u00e3o de testes representa algo concreto e operacional, sua utiliza\u00e7\u00e3o tem ajudado a criar um clima favor\u00e1vel \u00e0 avalia\u00e7\u00e3o da educa\u00e7\u00e3o superior. Anteriormente ao Prov\u00e3o, embora a necessidade da avalia\u00e7\u00e3o da educa\u00e7\u00e3o superior fosse amplamente reconhecida, sua implementa\u00e7\u00e3o foi sempre impedida por aqueles que estavam contra ela, em nome da cria\u00e7\u00e3o de um modelo \u201cperfeito\u201d. Atualmente, por causa da introdu\u00e7\u00e3o do Prov\u00e3o em 1995, a avalia\u00e7\u00e3o da educa\u00e7\u00e3o superior faz parte permanente do cen\u00e1rio nacional. Em segundo lugar, o exame \u00e9 acompanhado por um question\u00e1rio s\u00f3cio-econ\u00f4mico que \u00e9 preenchido pelos estudantes submetidos ao teste. As informa\u00e7\u00f5es geradas pela aplica\u00e7\u00e3o desses question\u00e1rios s\u00e3o de grande valor, vez que resultam em importantes informa\u00e7\u00f5es sobre as caracter\u00edsticas e opini\u00f5es dos estudantes da educa\u00e7\u00e3o superior no Brasil. Sem os testes, tais question\u00e1rios poderiam nunca ser preenchidos em uma escala ampla e, como conseq\u00fc\u00eancia, nosso conhecimento sobre e nossa compreens\u00e3o a respeito das caracter\u00edsticas e opini\u00f5es do corpo discente nacional seria muito mais restrito do que a situa\u00e7\u00e3o atual. Finalmente, eu acho que os testes, embora imperfeitos na apreens\u00e3o de resultados, s\u00e3o, certamente, melhores do que nada. \u00c9 melhor ter alguns resultados do que nenhum deles. Mas as limita\u00e7\u00f5es de tais resultados t\u00eam que ser conhecidas e, ademais, eles nunca deveriam ser tomados como a \u00fanica medida de qualidade. \u00c9 somente combinando-os com outros indicadores, inclusive os que tratam de insumos, frequentemente melhor mensur\u00e1veis atrav\u00e9s de visitas \u201cin loco\u201d, que podemos avaliar a \u201cqualidade\u201d de cursos de gradua\u00e7\u00e3o e, por extens\u00e3o, das institui\u00e7\u00f5es brasileiras de educa\u00e7\u00e3o superior.<\/p>\n

Bob Verhine \u2013 UFBA verhine@ufba.br<\/p>\n","protected":false},"excerpt":{"rendered":"

Recebi\u00a0 de Robert Verhine o texto abaixo, dando continuidade ao di\u00e1logo sobre a avalia\u00e7\u00e3o do ensino superior: Confesso que estou adorando minha nova carreira como blogger. Gostei muito da resposta detalhada (e espirituosa) de Cl\u00e1udio de Moura Castro e das coloca\u00e7\u00f5es gentis e ponderadas de Renato Janine. Ainda que concorde com boa parte do argumento … Continue reading “Robert Verhine: Os Limites do ENADE”<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_crdt_document":"","footnotes":""},"categories":[11],"tags":[],"class_list":["post-836","post","type-post","status-publish","format-standard","hentry","category-educacao-superior"],"_links":{"self":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/836","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/comments?post=836"}],"version-history":[{"count":1,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/836\/revisions"}],"predecessor-version":[{"id":837,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/836\/revisions\/837"}],"wp:attachment":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/media?parent=836"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/categories?post=836"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/tags?post=836"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}