{"id":806,"date":"2008-10-06T19:25:00","date_gmt":"2008-10-06T22:25:00","guid":{"rendered":"http:\/\/www.schwartzman.org.br\/sitesimon\/?p=806&lang=pt-br"},"modified":"2008-10-06T19:25:00","modified_gmt":"2008-10-06T22:25:00","slug":"verhine-discorda-de-castro-e-castro-discorda-de-verhine","status":"publish","type":"post","link":"https:\/\/www.schwartzman.org.br\/sitesimon\/verhine-discorda-de-castro-e-castro-discorda-de-verhine\/","title":{"rendered":"Verhine discorda de Castro e Castro discorda de Verhine"},"content":{"rendered":"

Recebi de Claudio de Moura Castro a seguinte resposta ao texto de Roberto Verhine sobre o “Conceito Preliminar de Curso”\u00a0 do Minist\u00e9rio da Educa\u00e7\u00e3o:<\/em><\/p>\n

O novo Blog do Simon aparece com uma critica de Robert Verhine ao meu ensaio na revista Veja<\/em>, sobre os novos crit\u00e9rios de avalia\u00e7\u00e3o do MEC. Respondo?<\/p>\n

Claro que sim, pois se trata de um coment\u00e1rio educado, apoiado em argumentos t\u00e9cnicos e sem que vislumbremos filtros ideol\u00f3gicos colorindo as id\u00e9ia.\u00a0 Ademais, o tema \u00e9 importante. Independentemente do lado para o qual possa pender a simpatia do leitor, a aten\u00e7\u00e3o que merece o assunto j\u00e1 \u00e9 suficiente para justificar a troca de argumentos.<\/p>\n

Em primeiro lugar h\u00e1 uma quest\u00e3o de agrimensura. Meu ensaio tem seu tamanho limitado pela p\u00e1gina da revista. O de Verhine disp\u00f5e do latif\u00fandio oferecido pelo Simon. Tive que comprimir todos os argumentos em menos de 700 palavras. Para comentar meu ensaio, ele usou quase o dobro das palavras.<\/p>\n

Al\u00e9m da limita\u00e7\u00e3o de espa\u00e7o, em uma revista para o grande p\u00fablico, os argumentos t\u00e9cnicos t\u00eam que ser simplificados. Por exemplo. Disse que \u201cSubtraindo das notas dos formandos a nota dos calouros, captura-se o conhecimento que o curso \u2018adicionou\u2019 aos alunos\u201d. Poderia haver falado na \u201cdist\u00e2ncia entre a pontua\u00e7\u00e3o do curso e uma curva linear de regress\u00e3o m\u00faltipla, ajustada pelo m\u00e9todo dos m\u00ednimos quadrados\u201d. Isso seria tecnicamente muito mais preciso, mas poucos leitores me acompanhariam. A simplifica\u00e7\u00e3o que usei deixa clara a natureza do conceito, sem introduzir distor\u00e7\u00f5es de interpreta\u00e7\u00e3o.<\/p>\n

Mas vamos ao assunto. Os argumentos do meu ensaio caminham em quatro linhas.<\/p>\n

i) O uso inapropriado de um \u00edndice composto<\/em><\/p>\n

\u00cdndices compostos podem ser apropriados em certos casos e impr\u00f3prios em outros. Nem sempre \u00e9 boa id\u00e9ia somar alhos com bugalhos.<\/p>\n

O IDEB \u00e9 um \u00edndice composto. Venho sistematicamente defendendo o seu uso. O IDH tamb\u00e9m e nada tenho contra ele.<\/p>\n

Por que ent\u00e3o a rebeldia contra o novo indicador do MEC? \u00c9 simples, uma mensura\u00e7\u00e3o \u00e9 uma resposta a uma necessidade de uso. O IDH permite comparar pa\u00edses ou cidades.\u00a0 Agrupa renda, sa\u00fade e educa\u00e7\u00e3o, fatores reconhecidos por medirem qualidade de vida. Em conjunto d\u00e3o uma id\u00e9ia melhor do conceito complexo que se est\u00e1 tentando medir.<\/p>\n

Mas ao mesclar o que saem sabendo os graduados (ENADE) com a contribui\u00e7\u00e3o l\u00edquida do curso (IDD), estamos justamente obliterando diferen\u00e7as que interessa conhecer. Voltando ao exemplo da Veja, um empregador gostaria de saber que o primeiro curso de farm\u00e1cia\u00a0 obteve 5 (quanto o graduado sabe) e 2 (quanto o curso adicionou ao conhecimento do aluno).<\/p>\n

Contratar algu\u00e9m do primeiro curso pode ser uma boa id\u00e9ia, pois sabe mais. Contudo, como o segundo curso obteve 2 e 5, para um aluno modesto que deva escolher onde fazer seu vestibular, este \u00faltimo d\u00e1 a ele maior perspectiva de crescimento pessoal.<\/p>\n

Se o objetivo do MEC \u00e9 apenas decidir inicialmente que cursos deixar correr soltos e quais colocar no \u201cCTI\u201d, bastaria o resultado na prova aos graduandos (ENADE). Se o escore \u00e9 muito baixo, sinal de alarme: vamos ver o que est\u00e1 errado. Ainda no caso dos dois cursos citados, o segundo tem m\u00e9ritos, pois alavanca as carreiras pessoais dos alunos, apesar de que entram muito mal preparados. J\u00e1 o ensino do primeiro curso \u00e9 p\u00e9ssimo, pois recebe alunos bons e pouco oferece a eles. O que fazer com cada um? Essas s\u00e3o decis\u00f5es cr\u00edticas para o MEC: Punir um curso fraco na sala de aula, mas que recebe bons alunos? Punir um curso que faz um bom trabalho, mas recebe alunos fracos?\u00a0 O \u00edndice que junta os dois indicadores oblitera defici\u00eancias muito diferentes.
\n<\/em><\/p>\n

ii) Tal como formulado, o \u00edndice introduz um vi\u00e9s a favor do ensino p\u00fablico<\/em><\/p>\n

Em uma pesquisa em que Chico Soares e eu realizamos, foi poss\u00edvel medir com consider\u00e1vel precis\u00e3o o valor adicionado.\u00a0 As equa\u00e7\u00f5es nos permitiram tamb\u00e9m concluir que da ordem de 80% da vari\u00e2ncia explicada (n\u00e3o poderia usar essa express\u00e3o na Veja!) se deveu \u00e0 pontua\u00e7\u00e3o dos alunos ao entrarem no superior.<\/p>\n

Como a vasta maioria dos cursos superiores p\u00fablicos recebe os melhores alunos, somar \u00e0 prova dos graduandos o resultado da prova aplicada aos calouros infla o resultado do ENADE para tais cursos. Se o curso ensina mal, mas recebe alunos bons, a medida introduz um vi\u00e9s que esconde a fragilidade da sua sala de aula, superestimando, ipso facto, a qualidade do curso. Por que o MEC estaria usando uma medida t\u00e3o bizarra?<\/p>\n

Em outro diapas\u00e3o, somente cursos p\u00fablicos t\u00eam recursos para manter todos ou quase todos os professores em tempo integral. Independentemente do que saem sabendo os alunos, os p\u00fablicos ganham um b\u00f4nus de pontos no escore final.<\/p>\n

Igualmente, um curso privado que contrata profissionais atuantes no mercado, estar\u00e1 oferecendo um ensino melhor nas disciplinas aplicadas \u2013 comparado com as p\u00fablicas. N\u00e3o obstante, ser\u00e1 penalizado na nota final.<\/p>\n

Nesse particular, seria tamb\u00e9m o caso de examinar as provas do ENADE e verificar se n\u00e3o seriam excessivamente acad\u00eamicas e distanciadas da pr\u00e1tica das profiss\u00f5es correspondentes. Nunca fiz isso, mas algu\u00e9m deveria fazer. Se isso acontece, seria outra inst\u00e2ncia de discrimina\u00e7\u00e3o contra cursos que usam profissionais\u00a0 em vez de acad\u00eamicos. Note-se que, no pa\u00eds do Verhine, h\u00e1 muitos cursos profissionais que n\u00e3o contratam professores que n\u00e3o estejam atuando no mercado \u2013 quaisquer que sejam os seus diplomas.<\/p>\n

iii) Ao tomar medidas de resultado e juntar a elas medidas de processo, o \u00edndice mescla meios com fins<\/em><\/p>\n

Imaginemos engenheiros que precisam avaliar o desempenho no ar de um prot\u00f3tipo de avi\u00e3o que ainda n\u00e3o voou. Como n\u00e3o t\u00eam medidas de resultados, s\u00e3o obrigados a todos os malabarismos te\u00f3ricos para prever como a aeronave se comportar\u00e1 ap\u00f3s a decolagem.<\/p>\n

Assim s\u00e3o as avalia\u00e7\u00f5es americanas. Se l\u00e1 houvesse um Prov\u00e3o ou ENADE, poderiam jogar fora as dezenas de indicadores de processo que s\u00e3o obrigados a usar.\u00a0 \u00c9 sabido que s\u00e3o muito imperfeitos como preditores de desempenho. Mas como \u00e9 o que existe, os americanos t\u00eam que us\u00e1-los. S\u00f3 o Brasil tem uma prova desse tipo, aplicada em graduados. Portanto, podemos e devemos dispensar as medidas de processo.<\/p>\n

Se aplicarmos uma prova para medir o que aprenderam os graduados, como chegaram l\u00e1 se torna irrelevante. Se a prova ainda \u00e9 imperfeita, vamos melhor\u00e1-la. Por exemplo, o SAEB usa uma prova com muitas quest\u00f5es. Tantas s\u00e3o que \u00e9 preciso usar tr\u00eas alunos diferentes para completar a prova. Por que n\u00e3o fazer o mesmo no ENADE?<\/p>\n

Naturalmente, se a nota dos graduados \u00e9 baixa demais, nesse caso, vamos usar as vari\u00e1veis de processo, para identificar onde pode estar o problema. Os meios ou os processos s\u00e3o vari\u00e1veis de diagn\u00f3stico de disfun\u00e7\u00f5es. S\u00e3o eminentemente \u00fateis para isso.<\/p>\n

Voltando \u00e0 met\u00e1fora do restaurante, se os clientes sofreram uma epidemia de salmonela, a\u00ed ent\u00e3o, a sa\u00fade p\u00fablica vai verificar se os pratos e a cozinha foram rigorosamente esterilizados. Mas o visitador do Michelin n\u00e3o se ocupa disso (exceto se ele pr\u00f3prio for v\u00edtima de desinteria).<\/p>\n

iv) N\u00e3o conhecemos bem a natureza dos indicadores usados<\/em><\/p>\n

N\u00e3o amadurecemos ainda uma boa interpreta\u00e7\u00e3o dos resultados do valor adicionado (IDD). \u00c9 um conceito novo e de dif\u00edcil interpreta\u00e7\u00e3o. Quando escrevi o ensaio com Chico Soares, tive muitas dificuldades em interpretar os dados que encontramos. Nas provas do INEP, tampouco estamos diante de um construto com interpreta\u00e7\u00f5es intuitivas e transparentes.<\/p>\n

Caberia, nesse momento, explorar o IDD e mostrar como se combina com o ENADE, tomando como exemplo a observa\u00e7\u00e3o dos cursos inclu\u00eddos nas avalia\u00e7\u00f5es j\u00e1 realizadas.\u00a0 Pergunte-se a qualquer jornalista da \u00e1rea se o IDD dos cursos muito bons tende a ser maior ou menor do que o dos cursos fraqu\u00edssimos? Aposto que n\u00e3o sabem, embora essa diferen\u00e7a seja important\u00edssima para a pol\u00edtica p\u00fablica. Responde a uma pergunta crucial: os cursos de desempenho fraco dos graduandos est\u00e3o oferecendo pouco aos seus alunos? Ou podem estar oferecendo muito a alunos fracos? Tal como o conceito de \u201cempate t\u00e9cnico\u201d nas pesquisas de inten\u00e7\u00e3o de voto, o IDD leva tempo para ser digerido pela opini\u00e3o p\u00fablica.<\/p>\n

O mesmo desconhecimento existe para os indicadores de insumos ou de processo. Muitos livros na biblioteca fazem os alunos aprender mais? Professores de tempo integral t\u00eam um impacto positivo no aprendizado? E nas \u00e1reas profissionais?\u00a0 Doutores ensinam melhor? Como se comparam com mestres? Para que perfil de alunos? Mesmo as an\u00e1lises multivariadas s\u00e3o muito enganosas, por confundir causa, efeito e multicolinearidade.<\/p>\n

Da\u00ed a minha cr\u00edtica ao MEC, por divulgar um conceito excessivamente complexo, abstrato e cheio de cacoetes. Na pr\u00e1tica, o que vimos na imprensa foi o previs\u00edvel: Oba! Mais uma olimp\u00edada do MEC. Quem s\u00e3o os medalhistas? Quem s\u00e3o os fracassados? Ao mesmo tempo, n\u00e3o houve esfor\u00e7os de interpretar as nuances dos resultados.<\/p>\n

Em conclus\u00e3o: (i) Minha argumenta\u00e7\u00e3o acima tenta demonstrar que Verhine n\u00e3o logrou apontar erros t\u00e9cnicos nos meus argumentos. (ii) Na minha leitura dos seus coment\u00e1rios, tampouco encontro que suas cr\u00edticas contenham falhas l\u00f3gicas ou te\u00f3ricas. (iii) Nossas diverg\u00eancias s\u00e3o de interpreta\u00e7\u00e3o e de uso de diferentes componentes do labirinto estat\u00edstico criado pelo CPC. Mas nesse campo, n\u00e3o s\u00e3o poucos os desacordos.<\/p>\n","protected":false},"excerpt":{"rendered":"

Recebi de Claudio de Moura Castro a seguinte resposta ao texto de Roberto Verhine sobre o “Conceito Preliminar de Curso”\u00a0 do Minist\u00e9rio da Educa\u00e7\u00e3o: O novo Blog do Simon aparece com uma critica de Robert Verhine ao meu ensaio na revista Veja, sobre os novos crit\u00e9rios de avalia\u00e7\u00e3o do MEC. Respondo? Claro que sim, pois … Continue reading “Verhine discorda de Castro e Castro discorda de Verhine”<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_crdt_document":"","footnotes":""},"categories":[11],"tags":[],"class_list":["post-806","post","type-post","status-publish","format-standard","hentry","category-educacao-superior"],"_links":{"self":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/806","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/comments?post=806"}],"version-history":[{"count":2,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/806\/revisions"}],"predecessor-version":[{"id":808,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/806\/revisions\/808"}],"wp:attachment":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/media?parent=806"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/categories?post=806"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/tags?post=806"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}