O Milagre do ENADE

Tenho recebido vários comentários sobre minha análise dos resultados do ENADE, e o texto, que está disponível na minha página na Internet, tem passado por sucessivas revisões (veja o link na nota abaixo). Um dos comentários é que os resultados estão sendo bem recebidos em muitas faculdades, porque elas melhoraram de conceito em relação ao Provão.

Para testar isto, comparei os conceitos no Provão de 2002 e no ENADE para 78 cursos de medicina que foram avaliados por ambos.

E, de fato, em uma escala de 1 a 5, em que 5 é o conceito mais alto, a média do Provão era de 3.01, e a média do ENADE é de 4.18! Seria um verdadeiro milagre, se os cursos de medicina tivessem tido uma melhora tão espetacular nestes poucos anos. Mas é claro que não é nada disto. Como as notas do Provão são padronizadas, a média só pode ser 3, em uma escala de 1 a 5. As notas do ENADE também foram padronizadas, mas de uma maneira estranha que depende do valor mais baixo, e além disto elas foram ponderadas pelas notas do exame de conhecimentos gerais e do exame aplicado aos alunos iniciantes, como está explicado no “resumo técnico” divulgado pelo INEP e no meu texto. O resultado é o “milagre” da melhoria dos conceitos de quase todo mundo.

Uma outra informação interessante é que a correlação de Pearson entre os conceitos do Provão de 2002 e os do ENADE é de .409, ou seja , um r2 de 0,167, Isto pode ser interpretado como significando que só 16.7% dos resultados medidos pelo ENADE se explicam pela qualidade medida pelo Provão de 2002. O resto é milagre mesmo.

O Enigma do ENADE

O Enigma do Exame Nacional de Desempenho de Estudantes que substituiu o antigo Provão, era por quê muitos cursos apresentam piores resultados nos exames entre os alunos que se formam do que entre os que iniciam. No Blog anterior, abaixo, eu sugeri três respostas, uma delas sendo possíveis problemas de validação dos testes.
Para tentar entender o que estava acontecendo, fiz uma breve análise dos dados disponíveis, e o resultado está em O Enigma do ENADE, na minha página na Internet. Pode ser que eu não tenha conseguido resolver totalmente o enigma, mas, no processo, algumas outras coisas interessantes apareceram.

ENADE

Alguem já olhou com detalhe os dados do ENADE, o Exame Nacional de Desempenho dos Estudantes, divulgado recentemente pelo Ministério da Educação? O Ministério aplicou a mesma prova de conhecimentos específicos a alunos do início e do fim dos cursos, e descobriu que, em muitos deles, os que estão se formando sabem menos que os que estão entrando! (havia tambem uma prova de conhecimentos gerais, mas desta o Ministério só divulgou a média geral, juntando os estudantes do início e do fim).
Eu consigo pensar em três explicações possíveis para isto. A primeira é que muitos cursos, em vez de educar os estudantes, estão tornando-os mais burros. A segunda é que os estudantes que estão entrando agora são muito melhores do que os que estão saindo, o que promete excelentes formados dentro de alguns anos. A terceira é que os testes estão mal feitos, e não medem o que se pensa que eles deveriam medir.
Quem quiser, vote em uma destas tres hipóteses (em “comments”, abaixo), e prometo, desde já, uma análise mais sistematica dos dados já disponíveis, que possa talvez ajudar a elucidar o mistério, Breve!

Universidades e Restaurantes

No debate sobre a Reforma do Ensino Superior realizado pelo O Globo em 10 de março, eu talvez não devesse ter comparado a Universidade a um restaurante, e ter dito que, se eu quiser abrir um restaurante em uma rua que já tem cinco, o Ministro da Educação não tem nada a ver com isto, a não ser que eu venda comida estragada (veja a matéria do jornal sobre o debate aqui). O Ministro Tarso Genro rebateu dizendo que para mim a educação não passava de uma mercadoria, enquanto que para ele era um bem público, de responsabilidade do Estado. Que havia uma questão de princípio, sobre quem deveria comandar, o mercado ou o Estado, e que ele era a favor do Estado. Que eu defendia a liberdade para o setor privado, mas era contra a autonomia das universidades públicas. Houve quem me aplaudisse, mas eu fui bastante vaiado, e disseram que eu me saí mal. Deve ter sido verdade.

Não é fácil participar de um debate público com um político experimentado como o Ministro da Educação, e expor com clareza as idéias. Ainda bem que a gente sempre pode tentar explicar melhor depois…

Eu já tentei esclarecer, em um blog anterior (vejam mais abaixo), a questão da educação privada como direito, que é como está na Constituição, ou como “função delegada”, como entende o Ministro da Educação. É inegável que a proposa de reforma do Ministério expressa um forte preconceito contra o mercado em geral, e contra o ensino superior privado em particular. O Ministro reconhece, quando fala, que existem bons e maus cursos superiores no setor privado, não só filantrópicos, mas inclusive empresariais. No entanto, ao invés de ver na liberdade de iniciativa do setor privado uma virtude, trazendo novas energias, investimentos, pluralismo e criatividade à educação, ele – e o projeto da reforma como um todo – trata o setor privado como um mal necessário, a ser no máximo tolerado, mas controlado com rédeas curtas. Esta demonização do mercado já não existe muito na economia, depois do muro de Berlim, mas, na educação, parece continuar presente com muita força.

Defender a importância do setor privado não significa ser contra a regulação. A questão é o quê e como se vai regular, e até onde deve ir o poder de intervenção. É importante manter a população informada sobre a qualidade dos cursos, garantir a transparência nas contas das instituições filantrópicas, e evitar situações de monopólio ou oligopólio. Além disto, o setor público pode estimular ou desestimular o crescimento de determinadas atividades através de incentivos fiscais, como já está fazendo através do Prouni, e financiamentos a programas. Além da ideologia estatista, uma das explicações para a obsessão com o controle da educação superior privada é a confusão que ainda existe entre formação e certificação para as profissões. A Lei de Diretrizes e Bases separou estas duas coisas, mas elas continuam confundidas, e é por esta porta que entra a idéia exdrúxula da “demanda social” como critério para autorizar ou não a criação de novos cursos. O que está por trás disto é a tentativa de controlar a expansão dos mercados de trabalho para as diferentes profissões, que não deveria ser preocupação do Ministério da Educação, e sim das respectivas corporações profissionais, através de exames de ordem, como já fazem os advogados, e outros sistemas de certificação.

Mas, se meu restaurante fechar, o capitalista perde seu dinheiro, e os fregueses buscam outro lugar para comer; se a Faculdade particular fechar, os alunos ficam sem escola. Não é diferente? Mais ou menos. Existem sempre riscos, da mesma maneira que há riscos em entrar em uma universidade pública e encontrar professores desmotivados ou em greves intermináveis. A melhor maneira de lidar com isto é estimular a competição pela qualidade e a responsabilidade pública das instituições, e isto se faz mediante sistemas adequados de incentivos à qualidade, transparência e acesso à informação, coisas que estão dentro da responsabilidade do setor público, e devem ser também de interesse do setor privado, que precisa criar suas prórpias instituições de controle de qualidade. O pior caminho é o do cartório das autorizações, que estimula a corrupção, ou a regulação minuciosa e detalhista da atividade das instituições, que só atrapalha, e que o setor público nunca teve condiçoes de gerenciar.

As universidades públicas devem de fato ter menos liberdade do que as privadas, porque elas vivem de dinheiro público, e não de investimentos privados, que assumem o próprio risco. Isto não significa que eu seja contra a autonomia universitária no setor público, e aí penso que minha discordância com a proposta do governo é menor do que parece, pelo menos em princípio. O governo tambem diz que as universidades deverão ter planos de desenvolvimento, e receber recursos em função de seu desempenho, e que autonomia não é o mesmo que soberania. A minha dúvida é se as atuais propostas estimulam de fato a responsabilidade e o compromisso com resultados ou, ao contrário, consolidam as situações de acomodação, má qualidade e mau uso de recursos que existem em muitas de nossas universidades públicas. O governo está prometendo aumentar os recursos para as universidades federais, mas não está dizendo que vai condicionar estes recursos a resultados. Isto seria para depois, quando a quase totalidade do dinheiro já tiver sido dada (se é que a área econômica vai concordar com esta generosidade), com a garantia de que o orçamento de cada ano nunca será inferior ao do ano passado, nem jamais contingenciado. Deste jeito, para quê PDI?

Uma universidade pública realmente autônoma, para não se transformar em uma república irresponsável, precisa de um sistema forte e adequado de incentvos associados ao desempenho (o que supõe uma avaliação externa permanente, e orçamentos baseados em demonstrações claras de custos); estruturas gerenciais modernas, com sistemas de controle de custos e definição de prioridades; lideranças escolhidas por sua capacidade executiva; e autoridade para mexer na parte mais rígida do orçamento, que é o pessoal, hoje parte do serviço público,e praticamente “imexível”. A questão não é, portanto, a eleição direta do reitor ou não, embora a experiência internacional mostre que este tipo de eleição tende a politizar e partidarizar as universidades, fazendo com que os interesses das corporações internas predominem sobre o interesse público.

O que disseram os outros: cientistas, estrangeiros, o modelo econômico e o ensino superior brasileiro

No debate de O Globo de 10 de março, chamou muito atenção a advertência feita pelo reitor da UFRJ, Aloísio Teixeira, ao Ministério da Educação, de que o governo não deveria deixar que os cientistas assumissem o controle das comissões de avaliação dos planos de desenvolvimento das universidades, como está sendo proposto pela Academia de Ciências e pela SBPC. Cientistas, disse ele, são bons para fazer ciência, mas não para definir as políticas de ensino superior (os termos podem não ter sido estes, mas este foi o sentido).

Me parece que, em parte, ele tem razão; os cientistas têm muita dificuldade em entender e aceitar que, nos modernos sistemas de educação superior de massas, a pesquisa ocupa um nicho importante, mas existem outras coisas, como a formação profissional, a formação geral, e a formação tecnológica, no qual eles têm pouco a contribuir diretamente; e que existem muitas instituições – na verdade a grande maioria – dedicadas exclusivamente ao ensino em suas diversas formas. A imposição de critérios científicos como única métrica para a avaliar instituições e programas de ensino leva a distorções graves, como por exemplo a dificuldade que o Brasil tem tido de criação de mestrados profissionais, e as altas taxas de reprovação de muitos cursos das universidades públicas e privadas.

O que não fica claro é quem o reitor acha que deveria exercer o poder sobre as universidades e os sistemas de avaliação, no lugar dos cientistas. Dada a história conhecida da UFRJ, parece claro que ele tenderia a preferir a “comunidade universitária”, representada pelos sindicatos de docentes, funcionários e associações de estudantes, uma perspectiva coerente com a demanda pela gerência colegiada das instituições e eleição direta dos reitores, que o projeto do Ministério da Educação acolhe. Existe hoje uma ampla literatura sobre a “profissão acadêmica” e seu papel na regulação e controle dos sistemas educacionais – que, justamente com o Estado e o Mercado, compõem o famoso “Triângulo de Clark”. Mas esta “profissão acadêmica” é algo muito complexo, e inclui desde os cientistas e pesquisadores até professores ocasionais e pessoas sem maior formação. A experiência internacional mostra que os sistemas de ensino superior mais bem sucedidos são aqueles que procuram combinar as virtudes dos três vetores deste triângulo – a vitalidade do setor privado, a regulação do governo, e os valores, conhecimento e envolvimento institucional da comunidade acadêmica, da qual os cientistas são parte integrante e fundamental, embora não única. Qualquer tentativa de concentrar o poder em um destes vértices, às expensas dos outros, gera problemas.

Das muitas coisas ditas por Gustavo Petta, presidente da UNE, destaco duas. Primeiro, sua ardorosa defesa da cláusula do projeto do governo que impede o controle de estrangeiros em instituições de ensino lucrativas. Ele vê nestas empresas uma ameaça à nossa cultura, e uma porta aberta para a liberalização do comércio de serviços educacionais que está sendo proposta por alguns países à Organização Internacional do Comércio, e que poderia destruir nossas instituições educacionais. Eu penso que o segundo perigo é remoto, porque o ponto principal destas propostas, pelo que eu entendo, seria dar às instituições estrangeiras as mesmas regras de funcionamento que são dadas às instituições nacionais. Quanto ao primeiro perigo, tudo depende de que cultura queremos – uma cultura fechada e provinciana, tipo “porque me ufano de meu Brasil”, ou uma cultura aberta às idéias, influências e conhecimentos que vêm de todas as partes. De qualquer maneira, não há de ser esta cláusula que vai impedir que pessoas brasileiras continuem indo estudar no exterior, que cursos por Internet se desenvolvam sem respeitar barreiras geográficas e regulações ministeriais, e que nossas melhores instituições de ensino e pesquisa procurem emular as melhores do mundo. Se tivermos um ensino superior público e privado de boa qualidade, empresas educacionais estrangeiras só podem ser benvindas, e não ameaçarão ninguém. Se não tivermos, aí mesmo é que elas se tornam indispensáveis.

A segunda coisa dita pelo Presidente da UNE, com a qual eu concordo, é que a atual proposta de reforma do ensino superior do MEC é incompatível com a política econômica do governo Lula, baseada até aqui no equilíbrio orçamentário, no respeito aos gastos públicos e na abertura do país aos capitais e ao fluxo internacional de conhecimentos e tecnologias.

Da apresentação de Paulo Alcântara Gomes, reitor da Universidade Castelo Branco, me parece importante recuperar a idéia de que o que deveria preocupar não é se uma instituição é pública ou privada, e sim se ela tem ou não tem qualidade. Ninguém discordou, mas não houve tempo para explorar o que isto significaria na prática, em termos de organização do financiamento da educação superior brasileira em todos os seus aspectos.

Educação privada: direito ou função delegada?

Um dos temas que surgiram na discussão sobre o projeto de reforma universitária do MEC é se a educação em geral, e a educação superior em particular, é um bem público, de responsabilidade do governo, ou um dreito das pessoas, em relação ao qual o poder de intervenção do governo deve ser limitado. A posição do Ministério é clara: a educação é um bem público, e por isto ela só pode ser exercida privadamente por delegação e sob estrita vigilância do governo. Eu tenho defendido o oposto: a educação, em todos os níveis, é um direito dos cidadãos, e um serviço que pode ser proporcionado por quem se habilitar, com toda a liberdade, com interferência mínima do setor público.

Vale a pena aprofundar esta questão. A educação pública, como sabemos, é um produto dos estados nacionais que surgem a partir dos séculos 18 e 19, muitas vezes em forte conflito com a Igreja, que se transforma, sobretudo na França, em grande defensora da educação privada, que na realidade era a defesa da educação religiosa. A disputa entre Estado e Igreja pelo controle da educação foi, em grande parte, uma disputa ideológica, entre os defensores de filosofias iluministas e agnósticas e os defensores de valores religiosos, e também fez parte do processo de afirmação do poder dos estados nacionais sobre grupos específicos que resistiam a seu poder e sua autoridade. No Brasil, nos anos 30, a Igreja tentou assumir o controle da educação pública, mas acabou aceitando uma posição menos dominante, criando suas próprias universidades e garantindo o ensino religioso nas escolas públicas, como existe até hoje.

Esta não é, no entanto, a questão atual. Nas sociedades modernas, a educação passou a ser vista como um direito dos cidadãos, o principal instrumento para promover a igualdade de oportunidades em um mundo em que o trabalho e a participação social dependem da capacitação e do conhecimento. O setor público deve zelar e prover recursos para que todas as pessoas se eduquem, da mesma maneira em que deve zelar e prover recursos para elas tenham acesso à segurança e aos cuidados médicos.

Mas, que educação é esta que o setor público deve proporcionar, e até onde vai esta obrigação? Aqui as coisas se complicam, porque as ideologias voltam a se misturar. A visão republicana tradicional é que existiria uma distinção clara e óbvia entre o mundo da Ciência, do Conhecimento, da Cultura e dos Valores Cívicos, e o mundo da superstição, da religião, dos particularismos e dos valores privados; e que o Estado, através de suas repartições nos Ministérios e Secretarias de Educação, seria o guardião deste mundo iluminado, contra o mundo das trevas. Eu sou um racionalista empedernido, defensor dos valores da ciência, da racionalidade e do interesse público, mas isto não me impede de ver que as coisas não são divididas tão claramente assim, e que as burocracias públicas não têm o monopólio das virtudes, nem o setor privado o monopólio dos vícios. Eu acredito que a responsabilidade do Estado, na área da educação geral e pública, deve se limitar a uma agenda mínima – assegurar que todos tenham acesso à leitura e à escrita, e aos meios de informação – e não a uma agenda máxima – definir de antemão os conteúdos de todos os conhecimentos que as pessoas devam ter. Seu papel é garantir a igualdade de oportunidades, e não fazer com que todas as pessoas sejam iguais, conforme o mesmo molde.

No ensino superior, esta questão se complica por duas razões principais. Primeiro, porque muitas profissões conseguiram, através dos anos, que o Estado assumisse o papel de zelar pelo seus monopólios profissionais privados, e isto é apresentado como se fosse o Estado, em nome da sociedade, que estivesse zelando pelo interesse público. Os exemplos extremos são a medicina e o direito, e todas as profissões de nível superior no Brasil procuram imitá-los através de legislações de reconhecimento e regulação profissional.

Mas não está certo isto, que o Estado cuide para que não existam falsos médicos e advogados incompetentes, enganando a população? Mais ou menos. No Brasil, os homeopatas têm direito a praticar medicina, mas as enfermeiras não podem receitar remédios para um resfriado, e os optometristas não podem dar receitas para óculos. Existe, neste momento, uma grande discussão sobre uma proposta de definição legal de “ato médico” que, se for adotada, acabaria com a autonomia profissional de várias categorias. Estas disputas se fazem em nome dos conhecimentos e das competências dos diversos setores e grupos, mas é também uma disputa política, cujo resultado pode ser muito diferente de um país a outro. Novamente aqui, o mais recomendável é que o setor público se limite ao controle de situações de abuso extremas, e faça com que a propria sociedade, através das associações científicas e profissionais e da opinião pública, vá definindo o que é aceitável ou não, aceitando que continuarão a existir ambiguidades, pessoas que adoram a homeopatia, e outros que consideram que os homeopatas não passam de charlatães.

O outro complicador, em relação ao ensino superior, é que existe uma relação pouco clara entre os benefícios privados dos títulos de nível superior e os benefícios públicos, ou sociais, desta educação. No passado, havia a idéia de que seria possível planejar, “cientificamente”, quantos médicos (homeopatas, alopatas, etc), engenheiros, advogados e sociólogos o país necessitaria. Hoje ninguem, em sã consciência, acredita nisto. Todo mundo quer ser “doutor” hoje, ainda que seja para não ficar para trás em relação aos amigos, e em geral os benefícios privados dos cursos superiores são altos. Mas, se os advogados ganham muito dinheiro e a profissão cresce cada vez mais, isto é bom ou mal para o país?

Aqui, mais do que na educação básica, fica claro que não cabe ao setor público financiar toda a educação superior, nem vigiar para que ela obedeça aos padrões e normas definidos pelos diversas diversas corporações profissionais e pelas burocracias dos ministérios. O setor público pode, e deve, identificar e apoiar as áreas aonde existam carências evidentes, inclusive de formação de alto nível, e desenvolver mecanismos de apoio para que pessoas sem recursos não se vejam excluidas dos benefícios do acesso à educação superior, mas não deveria ir muito além disto.

Finalmente, é bom lembrar que, na nossa experiência, a educação pública sempre começa boa quando é limitada e de elite, e perde qualidade e se burocratiza quando se massifica. Assim foi com os antigos grupos escolares, com as antigas escolas secundárias e escolas normais, e isto é o que parece estar ocorrendo com o ensino superior público, em grande parte. Não se trata de uma incompetência inerente ao setor público, mas de uma dificuldade que decorre, em parte, da limitação de recursos, e em parte pela lógica burocrática e ritualista que se implanta quando se tenta controlar redes gigantescas de escolas e universidades a partir de burocracias centralizadas, quase sempre atravessadas por interesses e contingências políticas as mais diversas.

É por isto que se busca, em todos os níveis, tornar as instituições de ensino mais autônomas, mais diversificadas, mais abertas a estímulos externos, e desenvolver sistemas de estímulo ao bom desempenho. O papel do setor público é estimular a criação de mecanismos adequados de financiamento para atividades prioritárias e para a correção das iniquidades de acesso, e sobretudo de estimular a sociedade a estabelecer padrões e mecanismos consensuais de controle de qualidade, aceitando, ao mesmo tempo, a pluralidade e a diversificação.

O projeto de reforma do esino superior do MEC incorpora algumas destas idéias, ao estimular a autonomia das universidades públicas e o maior envolvimento das instituições com a comunidade externa, assim como ao buscar mecanismos para tornar o ensino superior mais acessível a pessoas carentes. Pena que estas idéias se percam na visão extremada do poder do Estado sobre a educação, na ojeriza à iniciativa privada e ao mercado, e na confusão entre sociedade e os interesses corporativos dos sindicatos e da “sociedade organizada”.

O projeto de reforma do ensino superior do MEC

Estou colocando na página o texto que preparei com o Cláudio de Moura Castro comentando a proposta de reforma universitária do Ministério da Educação (está em “livros”). O Estadão de domingo 23 de janeiro publicou tambem um pequeno texto resumo. O texto do MEC foi apresentado como documento para discussão, e é este o sentido dos nossos comentários.
Para ajudar na discussão (coisa rara entre nós, com a confusão que costuma ocorrer entre diferenças de opinião e briga), pretendo publicar aqui os comentários, a favor ou contra, que o texto possa suscitar