As melhores universidades do mundo|The best universities in the World

Saiu uma nova lista das melhores universidades do mundo, publicada pelo The Times Higher Education Supplement. Como sempre, Harvard University é a primeira, seguida de Oxford e Cambridge (of course). As 15 primeiras são todas dos Estados Unidos e Inglaterra, com a exceção da Universidade de McGill no Canadá. Da América Latina aparecem somente três: a Universidade Autônoma do México, na posição 74, e as  universidades de São Paulo e Campinas, nas posições 175 e 177.

Para este ordenamento, a revista pesquisou a opinião dos pares e empregadores, a proporção de estudantes por professor, o número de citações por professor, e a internacionalização do corpo docente e discente. Em uma escala de 0 a 100, a pontuação mais alta da UNICAMP , 78, é no número de estudantes por professor , e a mais baixa, 16, é na internacionalização do corpo discente. A nota mais alta da USP é na avaliação dos pares, 65, e a mais baixa, também na internacionalização do corpo discente, 14.

Segundo a revista, “despite the presence of South African, Brazilian and Mexican institutions in this table, the overall message of these rankings is that the sort of universities we list here, mainly large, general institutions, with a mingling of technology specialists, are a dauntingly expensive prospect for any country, let alone one in the developing world”. “apesar da presença de instituições da África do Sul, Brasil e México nesta lista, a mensagem mais geral deste ordenamento é que o tipo de universidades listadas aqui, grandes, gerais, com uma combinação de especialistas de diferentes tecnologias, é um prospecto muito caro para qualquer país, e sobretudo para o dos países em desenvolvimento”. Mas é claro que não é somente uma questão de dinheiro.

Qual é a validade deste ordenamento?  Se fosse um ranking oficial, de algum governo ou agência internacional, haveria muitas razões para questionar e criticar. Mas como é um trabalho jornalístico, ele vale como tal. Com suas limitações e possiveis tendenciosidades, esta lista nos diz coisas importantes, que só teremos a perder se não tomarmos em conta.

Verhine discorda de Castro e Castro discorda de Verhine

Recebi de Claudio de Moura Castro a seguinte resposta ao texto de Roberto Verhine sobre o “Conceito Preliminar de Curso”  do Ministério da Educação:

O novo Blog do Simon aparece com uma critica de Robert Verhine ao meu ensaio na revista Veja, sobre os novos critérios de avaliação do MEC. Respondo?

Claro que sim, pois se trata de um comentário educado, apoiado em argumentos técnicos e sem que vislumbremos filtros ideológicos colorindo as idéia.  Ademais, o tema é importante. Independentemente do lado para o qual possa pender a simpatia do leitor, a atenção que merece o assunto já é suficiente para justificar a troca de argumentos.

Em primeiro lugar há uma questão de agrimensura. Meu ensaio tem seu tamanho limitado pela página da revista. O de Verhine dispõe do latifúndio oferecido pelo Simon. Tive que comprimir todos os argumentos em menos de 700 palavras. Para comentar meu ensaio, ele usou quase o dobro das palavras.

Além da limitação de espaço, em uma revista para o grande público, os argumentos técnicos têm que ser simplificados. Por exemplo. Disse que “Subtraindo das notas dos formandos a nota dos calouros, captura-se o conhecimento que o curso ‘adicionou’ aos alunos”. Poderia haver falado na “distância entre a pontuação do curso e uma curva linear de regressão múltipla, ajustada pelo método dos mínimos quadrados”. Isso seria tecnicamente muito mais preciso, mas poucos leitores me acompanhariam. A simplificação que usei deixa clara a natureza do conceito, sem introduzir distorções de interpretação.

Mas vamos ao assunto. Os argumentos do meu ensaio caminham em quatro linhas.

i) O uso inapropriado de um índice composto

Índices compostos podem ser apropriados em certos casos e impróprios em outros. Nem sempre é boa idéia somar alhos com bugalhos.

O IDEB é um índice composto. Venho sistematicamente defendendo o seu uso. O IDH também e nada tenho contra ele.

Por que então a rebeldia contra o novo indicador do MEC? É simples, uma mensuração é uma resposta a uma necessidade de uso. O IDH permite comparar países ou cidades.  Agrupa renda, saúde e educação, fatores reconhecidos por medirem qualidade de vida. Em conjunto dão uma idéia melhor do conceito complexo que se está tentando medir.

Mas ao mesclar o que saem sabendo os graduados (ENADE) com a contribuição líquida do curso (IDD), estamos justamente obliterando diferenças que interessa conhecer. Voltando ao exemplo da Veja, um empregador gostaria de saber que o primeiro curso de farmácia  obteve 5 (quanto o graduado sabe) e 2 (quanto o curso adicionou ao conhecimento do aluno).

Contratar alguém do primeiro curso pode ser uma boa idéia, pois sabe mais. Contudo, como o segundo curso obteve 2 e 5, para um aluno modesto que deva escolher onde fazer seu vestibular, este último dá a ele maior perspectiva de crescimento pessoal.

Se o objetivo do MEC é apenas decidir inicialmente que cursos deixar correr soltos e quais colocar no “CTI”, bastaria o resultado na prova aos graduandos (ENADE). Se o escore é muito baixo, sinal de alarme: vamos ver o que está errado. Ainda no caso dos dois cursos citados, o segundo tem méritos, pois alavanca as carreiras pessoais dos alunos, apesar de que entram muito mal preparados. Já o ensino do primeiro curso é péssimo, pois recebe alunos bons e pouco oferece a eles. O que fazer com cada um? Essas são decisões críticas para o MEC: Punir um curso fraco na sala de aula, mas que recebe bons alunos? Punir um curso que faz um bom trabalho, mas recebe alunos fracos?  O índice que junta os dois indicadores oblitera deficiências muito diferentes.

ii) Tal como formulado, o índice introduz um viés a favor do ensino público

Em uma pesquisa em que Chico Soares e eu realizamos, foi possível medir com considerável precisão o valor adicionado.  As equações nos permitiram também concluir que da ordem de 80% da variância explicada (não poderia usar essa expressão na Veja!) se deveu à pontuação dos alunos ao entrarem no superior.

Como a vasta maioria dos cursos superiores públicos recebe os melhores alunos, somar à prova dos graduandos o resultado da prova aplicada aos calouros infla o resultado do ENADE para tais cursos. Se o curso ensina mal, mas recebe alunos bons, a medida introduz um viés que esconde a fragilidade da sua sala de aula, superestimando, ipso facto, a qualidade do curso. Por que o MEC estaria usando uma medida tão bizarra?

Em outro diapasão, somente cursos públicos têm recursos para manter todos ou quase todos os professores em tempo integral. Independentemente do que saem sabendo os alunos, os públicos ganham um bônus de pontos no escore final.

Igualmente, um curso privado que contrata profissionais atuantes no mercado, estará oferecendo um ensino melhor nas disciplinas aplicadas – comparado com as públicas. Não obstante, será penalizado na nota final.

Nesse particular, seria também o caso de examinar as provas do ENADE e verificar se não seriam excessivamente acadêmicas e distanciadas da prática das profissões correspondentes. Nunca fiz isso, mas alguém deveria fazer. Se isso acontece, seria outra instância de discriminação contra cursos que usam profissionais  em vez de acadêmicos. Note-se que, no país do Verhine, há muitos cursos profissionais que não contratam professores que não estejam atuando no mercado – quaisquer que sejam os seus diplomas.

iii) Ao tomar medidas de resultado e juntar a elas medidas de processo, o índice mescla meios com fins

Imaginemos engenheiros que precisam avaliar o desempenho no ar de um protótipo de avião que ainda não voou. Como não têm medidas de resultados, são obrigados a todos os malabarismos teóricos para prever como a aeronave se comportará após a decolagem.

Assim são as avaliações americanas. Se lá houvesse um Provão ou ENADE, poderiam jogar fora as dezenas de indicadores de processo que são obrigados a usar.  É sabido que são muito imperfeitos como preditores de desempenho. Mas como é o que existe, os americanos têm que usá-los. Só o Brasil tem uma prova desse tipo, aplicada em graduados. Portanto, podemos e devemos dispensar as medidas de processo.

Se aplicarmos uma prova para medir o que aprenderam os graduados, como chegaram lá se torna irrelevante. Se a prova ainda é imperfeita, vamos melhorá-la. Por exemplo, o SAEB usa uma prova com muitas questões. Tantas são que é preciso usar três alunos diferentes para completar a prova. Por que não fazer o mesmo no ENADE?

Naturalmente, se a nota dos graduados é baixa demais, nesse caso, vamos usar as variáveis de processo, para identificar onde pode estar o problema. Os meios ou os processos são variáveis de diagnóstico de disfunções. São eminentemente úteis para isso.

Voltando à metáfora do restaurante, se os clientes sofreram uma epidemia de salmonela, aí então, a saúde pública vai verificar se os pratos e a cozinha foram rigorosamente esterilizados. Mas o visitador do Michelin não se ocupa disso (exceto se ele próprio for vítima de desinteria).

iv) Não conhecemos bem a natureza dos indicadores usados

Não amadurecemos ainda uma boa interpretação dos resultados do valor adicionado (IDD). É um conceito novo e de difícil interpretação. Quando escrevi o ensaio com Chico Soares, tive muitas dificuldades em interpretar os dados que encontramos. Nas provas do INEP, tampouco estamos diante de um construto com interpretações intuitivas e transparentes.

Caberia, nesse momento, explorar o IDD e mostrar como se combina com o ENADE, tomando como exemplo a observação dos cursos incluídos nas avaliações já realizadas.  Pergunte-se a qualquer jornalista da área se o IDD dos cursos muito bons tende a ser maior ou menor do que o dos cursos fraquíssimos? Aposto que não sabem, embora essa diferença seja importantíssima para a política pública. Responde a uma pergunta crucial: os cursos de desempenho fraco dos graduandos estão oferecendo pouco aos seus alunos? Ou podem estar oferecendo muito a alunos fracos? Tal como o conceito de “empate técnico” nas pesquisas de intenção de voto, o IDD leva tempo para ser digerido pela opinião pública.

O mesmo desconhecimento existe para os indicadores de insumos ou de processo. Muitos livros na biblioteca fazem os alunos aprender mais? Professores de tempo integral têm um impacto positivo no aprendizado? E nas áreas profissionais?  Doutores ensinam melhor? Como se comparam com mestres? Para que perfil de alunos? Mesmo as análises multivariadas são muito enganosas, por confundir causa, efeito e multicolinearidade.

Daí a minha crítica ao MEC, por divulgar um conceito excessivamente complexo, abstrato e cheio de cacoetes. Na prática, o que vimos na imprensa foi o previsível: Oba! Mais uma olimpíada do MEC. Quem são os medalhistas? Quem são os fracassados? Ao mesmo tempo, não houve esforços de interpretar as nuances dos resultados.

Em conclusão: (i) Minha argumentação acima tenta demonstrar que Verhine não logrou apontar erros técnicos nos meus argumentos. (ii) Na minha leitura dos seus comentários, tampouco encontro que suas críticas contenham falhas lógicas ou teóricas. (iii) Nossas divergências são de interpretação e de uso de diferentes componentes do labirinto estatístico criado pelo CPC. Mas nesse campo, não são poucos os desacordos.

Roberto Verhine: ajudando a entender a nova avaliação de ensino

Recebi a nota abaixo de Robert Verhine, professor da Universidade Federal da Bahia e membro da Comissão Nacional de Avaliação do Ensino Superior, com pedido de publicação. Ainda que a nota só faça referência ao artigo publicado recentemente por Cláudio de Moura Castro na revista Veja, ele se refere indiretamente também à crítica que eu tenho feito ao conceito, disponível neste blog.

Tenho lido textos de autoria de Cláudio de Moura Castro desde quando eu era aluno de pósgraduação nos Estados Unidos, nos idos da década de 70. Moura Castro é um pensador líder no campo da Economia da Educação e seus freqüentes artigos, publicados na Revista Veja, têm servido para esclarecer temas complexos, além de habitualmente endereçar tópicos controversos de forma independente e reveladora. Por essa razão, fui surpreendido pelo artigo publicado na Veja de 24 de setembro último, sob o título “Quem entendeu a nova avaliação de ensino?”, que oferece uma linha argumentativa confusa, baseada em informação incompleta e, por vezes, distorcida.

O artigo tem como foco o Conceito Preliminar de Cursos (CPC), que Moura Castro erroneamente chama de Conceito Preliminar de Avaliação. Este índice, composto por três indicadores e com escala de cinco níveis (1 a 5), foi criado pelo MEC para identificar cursos com problemas potenciais. Com base na legislação vigente, todos os cursos da Educação Superior devem ser visitados uma vez a cada três anos, mas a realidade aponta para a impossibilidade do atendimento dessa freqüência, pela simples razão de que o número dos cursos é grande demais (mais de 20.000) e que continua a crescer. O CPC foi criado como resposta a esse problema, viabilizando a avaliação ao permitir identificar, no conjunto dos cursos, aqueles que necessitam da visita ao tempo que, com base em informações confiáveis e já existentes, atribui um escore aos demais. Tendo isso em vista, foi implementada uma abordagem diferente para cada um de dois grupos de cursos. No primeiro grupo, todos os cursos nos níveis mais baixos da escala (níveis 1 e 2) devem ser visitados por uma comissão composta por membros da comunidade acadêmica especialmente treinados nessa avaliação. Durante a visita, três aspectos do curso – sua organização pedagógica, corpo social e instalações – são cuidadosamente avaliados e, como resultado, um conceito final é emitido. Do segundo grupo fazem parte os cursos que recebem um CPC de 3, 4 ou 5. Esses cursos podem, se desejarem, solicitar uma visita de avaliação. Contudo, se não o fizerem dentro de 30 dias, o conceito preliminar é mantido como conc eito final.

No seu artigo, Moura Castro não fornece nenhum dado sobre o propósito do CPC, concentrando-se em censuras não contextualizadas. O autor começa criticando a composição do índice, argumentando que o mesmo foi criado a partir da soma de indicadores muito díspares. Pior ainda, para ele, é o fato de esses indicadores serem pouco conhecidos individualmente. Esse argumento não se sustenta quando se observam outros índices, igualmente compostos por indicadores os mais diversos, como é o caso, por exemplo, do Índice de Desenvolvimento Humano (IDH), do Índice de Desenvolvimento Econômico (IDE) e do Índice de Qualidade de Vida (IQV). Todos esses são comumente utilizados para sintetizar, em uma única escala, variáveis representativas de diferentes dimensões de um mesmo fenômeno. No caso do CPC, como Moura Castro afirma, dois dos indicadores (os resultados do ENADE e o IDD) referem-se aos resultados da Educação Superior e o terceiro (composto por quatro sub-dimensões) abrange insumos do curso. Esses indicadores são bastante conhecidos por aqueles envolvidos com a comunidade universitária e estão descritos detalhadamente, assim como o CPC, no site do INEP. Para a população não universitária, espera-se do CTC o mesmo nível de conhecimento obtido pelos exemplos de índice citados acima. Além disso, é incorreto declarar que o CTC seja uma mera soma de três indicadores. Para seu cálculo, como indicado na página do INEP, os três indicadores são ponderados de acordo com equações matemáticas complexas.

Estranhamente, Moura Castro é crítico do fato de um indicador de insumo ser considerado na formulação do índice, vez que isso equivaleria, em suas palavras, a julgar um restaurante a partir da “marca do fogão, os horários dos cozinheiros ou o número de livros de culinária disponíveis”. Digo estranhamente por que avaliações externas da Educação Superior, uma prática hoje estabelecida regularmente em mais de 50 países, focalizam primariamente os insumos. Daí por que, nesses locais, tais avaliações envolvem visitas que objetivam verificar, in loco, as condições (ou seja, os insumos) que o curso ou instituição oferecem. A idéia de focar os resultados, como proposto por Moura Castro, é teoricamente interessante, mas traz em seu bojo o problema de mensurá-los adequadamente. Testes, a exemplo dos utilizados pelo ENADE ou pelo Provão, são limitados e capturam, no melhor dos casos, apenas uma porção daquilo que deve ser aprendido ou conhecido ao final de um curso de graduação. O ENADE é especialmente fraco nesse aspecto, por usar apenas 40 itens (30 sobre a formação específica e 10 sobre a formação geral), número obviamente insuficiente para avaliar o conhecimento necessário ao exercício de uma profissão de nível superior. Ademais, como observado por Moura Castro, os desempenhos nos testes sofrem influências de fatores externos, tais como a situação familiar, a preparação na Educação Básica, os níveis de motivação e de inteligência do respondente. Nesse sentido o IDD, que compara os resultados de alunos ingressantes com aqueles dos alunos concluintes, é um indicador bastante útil por apontar o que o curso adicionou aos alunos.

Aliás, ao discutir o IDD, Moura Castro omitiu dois aspectos importantes. Primeiro, o IDD é muito mais sofisticado que o que ele pareceu destacar. O indicador não é uma mera subtração da nota dos calouros daquela dos formandos, mas, particularmente, estima, baseado nos dados dos ingressantes, uma expectativa de nota final. Para isso considera não apenas os escores dos testes, mas também a educação dos pais e a seletividade do curso (percentagem dos ingressantes que concluem a graduação). Dessa maneira, o IDD representa a diferença entre os escores observados e esperados dos formandos e, assim, pode gerar tanto um escore positivo (quando o observado supera o esperado) quanto negativo (quando o observado é inferior ao esperado). Moura Castro refere-se ao IDD como Índice de Diferença de Desempenho quando, em verdade, o nome completo é Índice de Diferença entre os Desempenhos Esperado e Observado.

A segunda omissão feita é o não reconhecimento de que o IDD apenas funciona quando ambos os grupos de alunos (ingressantes e concluintes) estão motivados a responder, da melhor maneira que possam, o teste. Seria um desastre se os ingressantes optassem por obter uma nota baixa, dessa maneira contribuindo para um IDD artificialmente maior. Para evitar esse tipo de comportamento, os resultados dos ingressantes foram incorporados (com peso total de 27,5%) à nota do curso no ENADE. Assim, interessa à instituição incentivar os alunos, nas duas pontas do curso de graduação, a efetivamente participarem da avaliação, sob pena de prejudicarem a nota do curso. Moura Castro critica tal inclusão, declarando que a mesma “premia o curso superior que atrai os melhores alunos”. Tal fato também ocorreria mesmo se os resultados dos ingressantes não fossem incluídos, vez que os resultados dos concluintes são sempre influenciados pela qualidade dos alunos na entrada. Em outras palavras, não faz sentido defender a importância do IDD, por um lado, e criticar a inclusão dos resultados dos ingressantes na determinação do conceito do ENADE, por outro.

Moura Castro finaliza seu ensaio declarando que “parece inapropriado entregar ao público uma medida tão confusa”. O mesmo pode ser dito sobre o ensaio que, infelizmente, foi disponibilizado ao público apesar de conduzir a novas confusões.

A nova numerologia do INEP|The new numerology from INEP

Não contente com o “Conceito Preliminar de Cursos”, o INEP, incorrigível, agora lança na imprensa o “Indice Geral de Cursos da Instituição”, combinando os dados do conceito preliminar com as notas de avaliação da pós-graduação da CAPES.  Agora “sabemos” que as melhores universidades do Brasil são, nesta ordem, a Universidade Federal de São Paulo, a Universidade Federal de Ciências de Saúde de Porto Alegre, a Universidade Federal de Viçosa e a Universidade Federal de Minas Gerais; as piores são a Universidade de Santo Amaro, a Universidade do Grande ABC, a Universidade Iguaçu e a Universidade Estadual de Ciências da Saúde de Alagoas (a Universidade de São Paulo e a Universidade de Campinas, prudentemente, preferiram ficar fora da brincadeira).

Para que que serve mesmo saber que, segundo o INEP, a Universidade Federal do Rio de Janeiro está na posição 35? Isto ajuda os estudantes a decidir se vale ou não à pena se candidatar para fazer o curso de economia, medicina, educação física ou um doutorado em biofísica nesta instituição, ou uma pós-graduação na COPPE? Isto ajuda o MEC a decidir se vai aumentar ou diminuir os recursos de custeio da Universidade, ou fazer com que ela gerencie melhor os recursos que já recebe? O que se espera? Que ela chegue à posição 20 em “x” anos?…

Para quem que, como eu, sempre defendeu a necessidade de avaliar os cursos e as instituições de ensino superior no Brasil, fica uma situação difícil, já que esta numerologia reforça os argumentos dos que sempre acharam melhor não avaliar coisa nenhuma. O fato é que o INEP não tem condições de fazer uma avaliação adequada das 2.270 instituições e 22 mil cursos superiores que existem por este Brasil afora, e estes exercícios estatísticos, por mais bem feitos que sejam (e não são bem feitos assim, veja minha análise do “conceito preliminar”) estarão sempre sujeitos a demasiados erros e imprecisões, e por isto mesmo não poderiam ser divulgados pela imprensa como o são, ainda que sob o título de “preliminar”.

Que alternativas existem? Eu não tenho respostas prontas, mas acho que poderíamos começar por algumas coisas:

  • Ao invés de se preocupar tanto em controlar o ensino privado, o Ministério da Educação poderia começar por concentrar esforços em avaliar e controlar melhor suas  próprias 105 instituições  federais (é o dado de 2006), que são financiadas com recursos públicos, para ter certeza que seus cursos são bons, em áreas prioritárias para o país, e que os recursos estão sendo utilizados de forma racional e eficiente.
  • Para o setor privado, o Ministério deveria se limitar a assegurar que as instituições têm condições mínimas para funcionar. Ao invés de distribuir estrelas, haveria simplesmente uma certificação institucional (como um ISO educacional)  e também uma certificação dos cursos em instituições não universitárias (se não me equivoco, as universidades não precisam de autorização do MEC para criar cursos).
  • Recursos poderiam ser destinados para reforçar os sistemas de certificação profissional de médicos, advogados, professores, engenheiros e outras áreas profissionais de impacto na saúde, formação e patrimônio das pessoas.  Instituições públicas ou privadas que não formassem alunos capazes de passar por estas certificações seriam forçadas a fechar, ou se aperfeiçoar.
  • Deveria haver um esforço de desenvolver e explicitar as competências e habilidades profissionais esperadas nas diversas áreas profissionais, e usar este conhecimento para a criação de sistemas de avaliação das instituições por profissão, ou carreira, abrindo espaço para o reconhecimento das diferenças que existem entre os cursos em relação às competências que buscam desenvolver.
  • As instituições privadas, que hoje se sentem prejudicadas pelas avaliações que o INEP produz, deveriam levar a sério o projeto de criar sistemas próprios e independentes de certificação e avaliação de cursos e instituições, que pudessem eventualmente se contrapor aos números oficiais que o governo  vem divulgando. A idéia não seria criar um “inepinho” privado, mas ir estabelecendo sistemas de avaliação setoriais, por adesão das instituições interessadas em mostrar para  sociedade a qualidade que tenham. Os custos deveriam ser cobertos pelas instituições participantes.
  • A legislação existente, que criou o CONAES e o SINAIS, precisaria ser revista, para que o país possa desenvolver sistemas de avaliação do ensino superior que tenham qualidade técnica e legitimidade, respeitando a grande diversidade e as dimensões continentais do país, coisas que não ocorrem hoje.

O “conceito preliminar de curso” e as boas práticas de avaliação da educação superior

A convite da Associação Brasileira de Mantenedoras de Ensino Superior – ABMES, preparei uma análise do “conceito preliminar de curso” e, mais amplamente, do sistema de avaliação do ensino superior brasileiro, à luz das boas práticas intenacionais de avaliação, para um seminário que deve ocorrer em Brasilia no início de setembro. O texto permite também entender melhor a “cozinha” deste conceito recentemente divulgado.  O texto, em versão também preliminar, e aberto a críticas, correções e sugestões de melhoria, está disponível aqui.

O aumento de pessoas de baixa renda no ensino superior

A Folha de São Paulo publica hoje matéria dizendo que o número de estudantes de baixa renda ensino superior brasileiro teria subido em 49% entre 2004 e 2006, baseado em uma tabulação de dados da PNAD que fiz a pedido da repórter. Na verdade, foi um aumento de cinco pontos percentuais – eram 10.1% em 2004, e passaram a 15.1% em 2006 (já tivemos uma discussão neste blog a respeito dos erros que podem ocorrer quando calculamos percentagens de percentagens). Em números absolutos, no entanto, os dados parecem mais significativos –  houve um aumento de 185% – de 224 mil para 745 mil, do número de estudantes de famílias de até 3 salários mínimos.

Acontece que o valor do salário mínimo vem aumentando muito nos últimos anos, e uma familia que ganhava até 3 salários mínimos em 2006  – R$ 1050,00 – estava no sétimo décimo da distribuição de renda daquele ano, e seria considerada em algumas pesquisas publicadas recentemente como de classe média.

Uma maneira melhor de ver a questão é pela percentagem de pessoas no ensino superior em termos de sua posição na distribuição de renda famliar do país. Dividindo a população em 10 grupos de igual tamanho, de menos a mais renda, podemos verificar se o acesso ao ensino superior das pessoas mais pobres efetivamente aumentou, e quanto. O quadro ao lado mostra os resultados, em percentagens acunuladas.

O que se pode ver é que o total de estudantes de nível superior oriundos da metade mais pobre da população brasileira passou de 9 para 11% entre 2004 e 2006. No outro extremo, o total oriundo das familias  10% mais ricas baixou de 40 para 38%.  Algum progresso, sem dúvida, mas nada espetacular. E nem poderia ser muito diferente, dada a má qualidade e estagnação em que se encontra a educação média no país.

O enigma do Conceito Preliminar de Curso

No dia 6 de agosto o Ministério da Educação divulgou um  até então desconhecido “Conceito Preliminar de Curso” que classificou 508 dos 2.028 cursos avaliados pelo ENADE de 2007 como de qualidade insuficiente, 444 da rede privada (19,5% do setor) , e 64  da rede pública (12,2%).

Embora “preliminares”, e aparentemente sujeitos a revisão, estes conceitos foram amplamente divulgados pela imprensa, afetando a reputação e provocando a reação indignada de muita gente. Existem de fato muitos cursos superiores de má qualidade neste país, públicos e privados, que  precisam ser avaliados de forma externa e independente.  A avaliação, quando bem feita, informa o público sobre cursos que devem ser buscados ou evitados, e estimula as instituições a melhorar seu desempenho. A auto-avaliação não é suficiente, porque ela não produz resultados comparáveis, e são geralmente defensivas.

O problema com a avaliação do ensino superior brasileiro não é que ela exista, mas a forma como ela é feita, e como os resultados são divulgados. O ENADE tem problemas técnicos graves, alguns dos quais eu apontei tempos atrás, e não me parece que tenham sido resolvidos. Entre outros,  ele inclui uma prova de  “formação geral” que, com 10 perguntas, tenta medir dezenas de competências, e não mede nenhuma (uma simples prova bem feita de linguagem seria melhor); provas de formação específica que não estão devidamente elaboradas em termos das competências que deveriam medir (cada uma delas se baseia em uma lista de matérias que o estudante deveria conhecer, o que é bem diferente); e uma estranha aritmética em que os resultados das provas aplicadas aos alunos que iniciam os cursos são somados aos resultados dos que terminam, aumentando os conceitos dos cursos que conseguem atrair estudantes mais qualificados, presumivelmente de nivel socio-econômico mais alto, mesmo que aprendam muito pouco nos anos seguintes, e punindo os que admitem alunos menos qualificados e contribuem mais para formá-los.

Sem poder mexer nesta aritmética, o INEP calculou um “indice de diferença de desempenho (IDD)”, que estima em que medida o desempenho dos alunos ao final do curso está acima ou abaixo do que seria estatisticamente esperado dadas as condições gerais dos alunos ingressantes.  Além disto, o INEP desenvolveu um outro índice de “insumos” que combina informações sobre professores com doutorado e em tempo integral e opiniões dos alunos sobre os programas dos cursos. Tudo isto – ENADE, IDD,  Insumos –  é combinado com pesos definidos não se sabe como,  e daí sai o “Conceito Provisório”.

Como o ENADE e o IDD medem coisas diferentes, e o segundo foi inventado para corrigir os erros do primeiro, é difícil interpretar o que de fato o Conceito Provisório está medindo (não parece que as informações sobre insumos privilegiem as instituições públicas, já que elas só entram na medida em que se correlacionam com o IDD). Uma medida de avaliação, além de ser tecnicamente bem feita, precisa ter uma interpretação clara, e precisa ser feita de forma independente e transparente, para que tenha legitimidade. Nada disto ocorreu com o Conceito Provisório.

Quando eu tenho uma dor de barriga e procuro um médico, ele não pode olhar as estatísticas sobre os possíveis correlatos da dor de barriga, e assim orientar meu tratamento. Ele precisa fazer um diagnóstico clínico de meu caso, e para isto, claro,os exames e as estatísticas são muito úteis.  Da mesma forma, não é possível emitir juizos de valor sobre cursos superiores específicos a partir de estimativas estatísticas, por melhores que sejam. A avaliação deve ser feita por pessoas de carne e osso, com nome e sobrenome, que sejam respeitadas em seu meio, e que assinem embaixo. Sem isto, a credibilidade dos resultados sofre,  e os sistemas de avaliação, que deveriam desempenhar um papel importante, acabam desmoralizados.

Saudades da Universidade Patrice Lumumba

Em 1960, a União Soviética criou a Universidade Patrice Lumumba, hoje a “Universidade Russa de Amizade dos Povos”, para estudantes do terceiro mundo. Na mesma inspiração, o governo brasileiro está criando agora a Universidade Latino-Americana, em Foz de Iguaçu, e conforme anunciado hoje pelo Secretário de Educação Superior do MEC, a Universidade da Comunidade dos Países de Língua Portuguesa, para estudantes da África, a ser estabelecida em Redenção, a 60 quilômetros de Fortaleza, considerada a primeira cidade brasileira a abolir a escravidão.

Não sei como anda a Universidade Pratice Lumumba hoje. Olhando na wikipedia, dá para ver que, entre seus ex-alunos notáveis, está Carlos o Chacal; Mahmoud Abbas, dirigente do Fatah; Aziz al-Abub, psiquiatra e torturador do Hezzbolah; o espião da KGB Yuri B. Shvets, hoje refugiado nos Estados Unidos; e a linguista brasileira Lucy Seki, que depois completou seu doutorado na Universidade do Texas. Com o fim da União Soviética, além da mudança de nome, o curriculo também mudou, e a doutrinação leninista foi substituida por cursos de administração de empresas, entre outros. Há alguns anos atrás, a universidade foi palco de ataques racistas violentos contra africanos e orientais, que revelaram o isolamento e as péssimas condições de vida dos estudantes de terceiro mundo que ainda se aventuravam por lá. Na página da universidade na Internet dá para ver que com 25 mil estudantes, todos eles pagantes, e mais de 2000 professores, ela está se esforçando por se transformar em uma universidade de qualidade, embora sua produção acadêmica (“for the last 3 years 167 monographs, 58 textbooks and 485 manuals have been published at the University”) não chega a impressionar. Mas ela deve ter coisas boas, sobretudo a localização em uma grande cidade que é Moscou.

Duvido que os idealizadores das universidades de terceiro mundo brasileiras conheçam a experiência da Patrice Lumumba, mas a idéia é a mesma, com o agravante que seus estudantes ficarão exilados em regiões remotas do país. A Universidade Latinoamericana, por exemplo, segundo seus organizadores, tem como propósito “a integração da América Latina através de um novo elo substantivo: a integração pelo conhecimento e a cooperação solidária entre os países do continente mais do que nunca em uma cultura de paz.” Lembra alguma coisa?

Não há dúvida de que o Brasil poderia ter um papel muito mais importante do que tem tido em estimular e apoiar a vinda de estudantes da América Latina, África e outras regiões para nossas melhores universidades. Isto seria bom para eles, a nos ajudaria a sair de nosso provincianismo. O melhor instrumento para isto são as universidades já existentes, que precisariam de apoio, estímulo e liberdade – inclusive de cobrar – para atrair possíveis candidatos com o que elas têm de melhor a oferecer – os cursos profissionais de qualidade, os programas de pós-graduação, a capacidade instalada de pesquisa e a interação com seus estudantes e com sociedade mais ampla da qual elas participam, nos principais centros urbanos do país em que estão instaladas. Universidades de primeiro mundo, e não de terceiro.

Textos vários sobre educação

Estão disponíveis, para os interessados, os seguintes textos:

Eqüidade e Qualidade da Educação Brasileira, Fundação Santillana, V Seminário de Outono. São Paulo, Editora Moderna, 2008.

Universidades e desenvolvimento na América Latina: Experiências Exitosas de Centros de Pesquisa. Biblioteca Virtual de Ciências Humanas, 2008

Brasil: el agujero negro de la educación. TodaVia – Pesamiento e Cultura en América Latina. Buenos Aires, Fundación OSDE. N. 18, Abril 2008. pp. 14-17

Liberdade de Docência. Entrevista à Revista Educação, edição 133, 2008

Cenários de Diversificação da Educação Superior na América Latina

Nos dias 4 a 6 de junho estarei participando da Conferencia Regional de Educación Superior 2008, organizada pelo Instituto Internacional da UNESCO para a Educação Superior na América Latina e Caribe (IESALC) em Cartagena. Me pediram que comentasse o trabalho denominado “Escenarios de diversificación, diferenciación y segmentación de la educación superior en América Latina“, de Jorge Landinelli e outros. A propósito, escrevi o texto abaixo:

DIEZ PROPOSICIONES SOBRE LOS ESCENARIOS DE DIVERSIFICACIÓN, DIFERENCIACIÓN Y SEGMENTACIÓN DE LA EDUCACIÓN SUPERIOR EN AMÉRICA LATINA Y EL CARIBE

En los 15 minutos que me tocan, no tendría como comentar y hacer justicia al trabajo tan detallado y que nos presentan Jorge Landinelli y sus colaboradores. Me parece mejor presentar algunas proposiciones que ojala puedan contribuir para el mejor entendimiento de los temas en discusión.

1 – Los procesos de diferenciación, diferenciación y segmentación de la educación superior, que se acentúan en la región a partir de los años 90, no son el resultado de políticas públicas o económicas de los gobiernos de aquellos años, sino que del amplio proceso de masificación de la educación superior que ha ocurrido en todo el mundo desde entonces, proceso del cual América Latina participa con retrazo.

2 – Los países latinoamericanos han respondido a este proceso de dos maneras principales. En algunos, como México, Venezuela, República Dominicana, Argentina y Uruguay, adonde existían universidades nacionales con admisión libre para personas con diplomas de educación media, estas universidades crecieron hasta llegar a centenas de miles de estudiantes. En la medida en que se tornaban inmanejables, esto llevó a la creación de universidades regionales, y también a mayor abertura para la creación de universidades privadas. En otros, como Brasil, Chile y Colombia, adonde ya había un sistema privado de educación superior establecido, este sistema privado creció y absorbió la mayor parte de la demanda, dejando las universidades públicas relativamente protegidas.

3 – Además del problema de cómo responder a la demanda creciente por educación superior, los países de la región tuvieron que responder a las demandas de la economía por mano de obra más calificada, y al aumento creciente de demanda de recursos públicos para la educación básica y media, los sistemas de jubilaciones y salud pública, obras públicas y otros, que sobrecargaron los presupuestos nacionales, llevando a procesos inflacionarios y aumento progresivo de la deuda pública, que, combinados con la inestabilidad financiera internacional, resultaron en las crisis y los ajustes económicos de aquellos años.

4 – Es importante darse cuenta que, antes de las políticas de ajuste de los años 90, las universidades públicas de la región ya sufrían problemas serios de calidad, equidad y uso ineficiente de los recursos públicos, necesitando de reformas y transformaciones que no tenían que ver con los ajustes económicos, pero que se tornaron más acentuadas en los momentos de crisis.

Para entender lo que ha pasado, y tener condiciones de pensar mejores alternativas para el futuro, es necesario deshacer una narrativa bastante corriente sobre como eran las universidades en la región, sustituyéndola por una perspectiva más cercana a la realidad. Esta narrativa equivocada, con algunas variaciones, es que, gracias al movimiento de la Reforma Universitaria que empezó en Córdoba hace casi cien años, las universidades públicas latinoamericanas se constituyeron como instituciones democráticas, de alta competencia y orientada a las cuestiones de interés cultural y social, virtudes que las políticas de ajuste económico, orientación hacia el mercado, búsqueda de eficiencia y privatización de los años 90 trataron de destruir.

5 – Si es verdad que el movimiento de la Reforma, al dar más poderes a los estudiantes y maestros en las universidades, las hizo internamente más democráticas, esta democracia no se tradujo en beneficios para la sociedad más amplia. Las universidades no jugaron un papel significativo en la formación de docentes de buena calidad para la educación básica y media, y, cuando aumentaron de tamaño para responder a la demanda creciente por educación superior, no crearon mecanismos adecuados para impedir que muchos de sus estudiantes, sino la mayoría, jamás lograran obtener los títulos superiores que buscaban. Además, las universidades se estratificaron internamente, con alta selectividad en los cursos de graduación en las carreras tradicionales, como medicina e ingeniería, y baja selectividad y control de calidad en las profesiones sociales, humanas y en la formación de maestros.

6 – Con las excepciones de siempre, la calidad la investigación científica y tecnológica en la región nunca fue muy buena. La investigación científica siempre fue muy limitada y sin proyección internacional, y los pocos ejemplos de universidades que han desarrollado actividades significativas de transferencia de conocimientos, capacitación y ayuda técnica a los gobiernos, empresas y a la población siempre fueron más bien la excepción que la regla. En la formación profesional, los mecanismos de gobierno colegiados y participativos siempre han limitado la posibilidad de la utilización de sistemas de control de calidad que pudieran amenazar a personas de prestigio o grupos académicos dentro de las instituciones, así como políticas activas de búsqueda de talentos.

7 – Desde sus inicios, las universidades latinoamericanas, centradas en las carreras clásicas del derecho, la medicina y la ingeniería, siempre estuvieron orientadas hacia el mercado, y de hecho, hasta muy poco tiempo, siempre fueron dirigidas por personas con fuerte participación en el mercado de trabajo. La diferencia importante entre el pasado y ahora es que, antes, el principal empleador eran los gobiernos, y la alternativa a las carreras políticas o al empleo público eran las profesiones liberales. No se puede esperar que las universidades no capaciten las personas para la vida del trabajo, y no hay incompatibilidad entre competencia profesional y capacidad de absorber cultura y mirar críticamente a la sociedad.

Los movimientos estudiantiles, y muchos profesores en las facultades y departamentos de ciencias sociales, tienen gran tradición de mirar críticamente sus sociedades y buscar formas de transformarlas por la movilización política, pero esto no ha creado una tradición de pensamiento social consistente que se pueda identificar como resultante de la labor universitaria y académica.

8 – Ese pasado no recomienda que se vuelva a las universidades tradicionales, en su formato tradicional, para buscar respuestas a los procesos crecientes de diferenciación, diversificación y segmentación de la educación superior en los países de la región. Mas allá de sus problemas, estas universidades tienen papeles importantes para jugar, y para esto necesitan utilizar de manera más eficiente sus recursos, preparar mejor para las profesiones de mercado, que son más competitivas que las tradicionales, fortalecer su capacidad de investigación y establecer puentes efectivas de colaboración y participación con la sociedad más amplia que las mantienen. Pero el universo de la educación superior contemporánea es mucho más amplio que el de estas instituciones.

9 – Una decisión importante que los países tienen que tomar es en que medida la absorción de la educación de masas se va hacer por las universidades públicas o privadas. Hay buenos argumentos de los dos lados. No es verdad que, en principio, solamente instituciones públicas logren dar formación de calidad, o que las privadas, y las con fines de lucro sean siempre malas – hay buenas y malas instituciones en todos los sectores. Pero lo que se considera calidad en una institución de elite es muy distinto de lo que se considera calidad en una institución orientada hacia la educación masiva.

10 – Del punto de vista de la equidad, es razonable que las instituciones públicas atiendan con prioridad a la población de menores ingresos, que ahora están buscando la educación superior en grandes números, dejando para el sector privado la educación más cara y compleja que los estudiante con más recursos y que más se beneficiarán pueden pagar. Del punto de vista de la formación de alto nivel y la investigación científica, es recomendable que el sector público asuma la responsabilidad de apoyarlas, considerando que difícilmente el sector privado haría las inversiones de alto costo que estas actividades requieren.

Difícilmente las mismas instituciones harán bien estos dos tipos de formación de elite y de masas. Es necesario que, en el universo complexo y diferenciado de la educación superior contemporánea, las instituciones, públicas y privadas, busquen sus nichos de actuación, y los gobiernos desarrollen políticas de regulación, incentivos y apoyo financiero para que, en su conjunto, las sociedades produzcan educación superior en la cantidad y con la calidad necesarios.

WP Twitter Auto Publish Powered By : XYZScripts.com
Wordpress Social Share Plugin powered by Ultimatelysocial