Simon Schwartzman

Verhine discorda de Castro e Castro discorda de Verhine

Recebi de Claudio de Moura Castro a seguinte resposta ao texto de Roberto Verhine sobre o “Conceito Preliminar de Curso” do Ministério da Educação:

O novo Blog do Simon aparece com uma critica de Robert Verhine ao meu ensaio na revista Veja, sobre os novos critérios de avaliação do MEC. Respondo?

Claro que sim, pois se trata de um comentário educado, apoiado em argumentos técnicos e sem que vislumbremos filtros ideológicos colorindo as idéia. Ademais, o tema é importante. Independentemente do lado para o qual possa pender a simpatia do leitor, a atenção que merece o assunto já é suficiente para justificar a troca de argumentos.

Em primeiro lugar há uma questão de agrimensura. Meu ensaio tem seu tamanho limitado pela página da revista. O de Verhine dispõe do latifúndio oferecido pelo Simon. Tive que comprimir todos os argumentos em menos de 700 palavras. Para comentar meu ensaio, ele usou quase o dobro das palavras.

Além da limitação de espaço, em uma revista para o grande público, os argumentos técnicos têm que ser simplificados. Por exemplo. Disse que “Subtraindo das notas dos formandos a nota dos calouros, captura-se o conhecimento que o curso ‘adicionou’ aos alunos”. Poderia haver falado na “distância entre a pontuação do curso e uma curva linear de regressão múltipla, ajustada pelo método dos mínimos quadrados”. Isso seria tecnicamente muito mais preciso, mas poucos leitores me acompanhariam. A simplificação que usei deixa clara a natureza do conceito, sem introduzir distorções de interpretação.

Mas vamos ao assunto. Os argumentos do meu ensaio caminham em quatro linhas.

i) O uso inapropriado de um índice composto

Índices compostos podem ser apropriados em certos casos e impróprios em outros. Nem sempre é boa idéia somar alhos com bugalhos.

O IDEB é um índice composto. Venho sistematicamente defendendo o seu uso. O IDH também e nada tenho contra ele.

Por que então a rebeldia contra o novo indicador do MEC? É simples, uma mensuração é uma resposta a uma necessidade de uso. O IDH permite comparar países ou cidades. Agrupa renda, saúde e educação, fatores reconhecidos por medirem qualidade de vida. Em conjunto dão uma idéia melhor do conceito complexo que se está tentando medir.

Mas ao mesclar o que saem sabendo os graduados (ENADE) com a contribuição líquida do curso (IDD), estamos justamente obliterando diferenças que interessa conhecer. Voltando ao exemplo da Veja, um empregador gostaria de saber que o primeiro curso de farmácia obteve 5 (quanto o graduado sabe) e 2 (quanto o curso adicionou ao conhecimento do aluno).

Contratar alguém do primeiro curso pode ser uma boa idéia, pois sabe mais. Contudo, como o segundo curso obteve 2 e 5, para um aluno modesto que deva escolher onde fazer seu vestibular, este último dá a ele maior perspectiva de crescimento pessoal.

Se o objetivo do MEC é apenas decidir inicialmente que cursos deixar correr soltos e quais colocar no “CTI”, bastaria o resultado na prova aos graduandos (ENADE). Se o escore é muito baixo, sinal de alarme: vamos ver o que está errado. Ainda no caso dos dois cursos citados, o segundo tem méritos, pois alavanca as carreiras pessoais dos alunos, apesar de que entram muito mal preparados. Já o ensino do primeiro curso é péssimo, pois recebe alunos bons e pouco oferece a eles. O que fazer com cada um? Essas são decisões críticas para o MEC: Punir um curso fraco na sala de aula, mas que recebe bons alunos? Punir um curso que faz um bom trabalho, mas recebe alunos fracos? O índice que junta os dois indicadores oblitera deficiências muito diferentes.

ii) Tal como formulado, o índice introduz um viés a favor do ensino público

Em uma pesquisa em que Chico Soares e eu realizamos, foi possível medir com considerável precisão o valor adicionado. As equações nos permitiram também concluir que da ordem de 80% da variância explicada (não poderia usar essa expressão na Veja!) se deveu à pontuação dos alunos ao entrarem no superior.

Como a vasta maioria dos cursos superiores públicos recebe os melhores alunos, somar à prova dos graduandos o resultado da prova aplicada aos calouros infla o resultado do ENADE para tais cursos. Se o curso ensina mal, mas recebe alunos bons, a medida introduz um viés que esconde a fragilidade da sua sala de aula, superestimando, ipso facto, a qualidade do curso. Por que o MEC estaria usando uma medida tão bizarra?

Em outro diapasão, somente cursos públicos têm recursos para manter todos ou quase todos os professores em tempo integral. Independentemente do que saem sabendo os alunos, os públicos ganham um bônus de pontos no escore final.

Igualmente, um curso privado que contrata profissionais atuantes no mercado, estará oferecendo um ensino melhor nas disciplinas aplicadas – comparado com as públicas. Não obstante, será penalizado na nota final.

Nesse particular, seria também o caso de examinar as provas do ENADE e verificar se não seriam excessivamente acadêmicas e distanciadas da prática das profissões correspondentes. Nunca fiz isso, mas alguém deveria fazer. Se isso acontece, seria outra instância de discriminação contra cursos que usam profissionais em vez de acadêmicos. Note-se que, no país do Verhine, há muitos cursos profissionais que não contratam professores que não estejam atuando no mercado – quaisquer que sejam os seus diplomas.

iii) Ao tomar medidas de resultado e juntar a elas medidas de processo, o índice mescla meios com fins

Imaginemos engenheiros que precisam avaliar o desempenho no ar de um protótipo de avião que ainda não voou. Como não têm medidas de resultados, são obrigados a todos os malabarismos teóricos para prever como a aeronave se comportará após a decolagem.

Assim são as avaliações americanas. Se lá houvesse um Provão ou ENADE, poderiam jogar fora as dezenas de indicadores de processo que são obrigados a usar. É sabido que são muito imperfeitos como preditores de desempenho. Mas como é o que existe, os americanos têm que usá-los. Só o Brasil tem uma prova desse tipo, aplicada em graduados. Portanto, podemos e devemos dispensar as medidas de processo.

Se aplicarmos uma prova para medir o que aprenderam os graduados, como chegaram lá se torna irrelevante. Se a prova ainda é imperfeita, vamos melhorá-la. Por exemplo, o SAEB usa uma prova com muitas questões. Tantas são que é preciso usar três alunos diferentes para completar a prova. Por que não fazer o mesmo no ENADE?

Naturalmente, se a nota dos graduados é baixa demais, nesse caso, vamos usar as variáveis de processo, para identificar onde pode estar o problema. Os meios ou os processos são variáveis de diagnóstico de disfunções. São eminentemente úteis para isso.

Voltando à metáfora do restaurante, se os clientes sofreram uma epidemia de salmonela, aí então, a saúde pública vai verificar se os pratos e a cozinha foram rigorosamente esterilizados. Mas o visitador do Michelin não se ocupa disso (exceto se ele próprio for vítima de desinteria).

iv) Não conhecemos bem a natureza dos indicadores usados

Não amadurecemos ainda uma boa interpretação dos resultados do valor adicionado (IDD). É um conceito novo e de difícil interpretação. Quando escrevi o ensaio com Chico Soares, tive muitas dificuldades em interpretar os dados que encontramos. Nas provas do INEP, tampouco estamos diante de um construto com interpretações intuitivas e transparentes.

Caberia, nesse momento, explorar o IDD e mostrar como se combina com o ENADE, tomando como exemplo a observação dos cursos incluídos nas avaliações já realizadas. Pergunte-se a qualquer jornalista da área se o IDD dos cursos muito bons tende a ser maior ou menor do que o dos cursos fraquíssimos? Aposto que não sabem, embora essa diferença seja importantíssima para a política pública. Responde a uma pergunta crucial: os cursos de desempenho fraco dos graduandos estão oferecendo pouco aos seus alunos? Ou podem estar oferecendo muito a alunos fracos? Tal como o conceito de “empate técnico” nas pesquisas de intenção de voto, o IDD leva tempo para ser digerido pela opinião pública.

O mesmo desconhecimento existe para os indicadores de insumos ou de processo. Muitos livros na biblioteca fazem os alunos aprender mais? Professores de tempo integral têm um impacto positivo no aprendizado? E nas áreas profissionais? Doutores ensinam melhor? Como se comparam com mestres? Para que perfil de alunos? Mesmo as análises multivariadas são muito enganosas, por confundir causa, efeito e multicolinearidade.

Daí a minha crítica ao MEC, por divulgar um conceito excessivamente complexo, abstrato e cheio de cacoetes. Na prática, o que vimos na imprensa foi o previsível: Oba! Mais uma olimpíada do MEC. Quem são os medalhistas? Quem são os fracassados? Ao mesmo tempo, não houve esforços de interpretar as nuances dos resultados.

Em conclusão: (i) Minha argumentação acima tenta demonstrar que Verhine não logrou apontar erros técnicos nos meus argumentos. (ii) Na minha leitura dos seus comentários, tampouco encontro que suas críticas contenham falhas lógicas ou teóricas. (iii) Nossas divergências são de interpretação e de uso de diferentes componentes do labirinto estatístico criado pelo CPC. Mas nesse campo, não são poucos os desacordos.

A campanha eleitoral e as boas opções para o Rio

Na tentativa de evitar o abuso do poder econômico e do acesso previlegiado de alguns candidatos aos meios de comunicação de massas, a legislação brasileira e a justiça eleitoral acabaram promovendo uma eleição sem graça, em que que os candidatos desfilam pelos programas eleitorais da TV e do rádio como que enlatados, sem espaço para confronto de idéias e debate público. Até mesmo a Internet foi objeto de censura. Sem o uso pleno dos meios modernos de comunicação, resta aos candidatos o uso das máquinas eleitorais, a distribuição porta a porta de promessas e a campanha boca a boca. Não é de se estranhar que, neste processo, predominam os candidatos mais aparelhados, seja porque estão no governo, seja porque representam os interesses de alguma categoria, seja até, no caso do Rio, por representar as milícias que preliferam no Estado.

E no entanto, a campanha de 2008 está mostrando que existe espaço também para outras opções, de pessoas que se candidatam por representar idéias e valores éticos e visão de longo prazo, preocupações que existem mas estão dispersas na população, não se aglutinam nem se organizam em uma máquina política . A candidatura de Fernando Gabeira, atropelando nas pesquisas eleitorais na reta final, com fortes chances de chegar ao segundo turno, é o melhor exemplo disto. Entre os candidatos a vereador, os bons exemplos são duas mulheres, Aspásia Camargo e Andreia Gouveia Vieira, ambas com um forte currículo de trabalho produtivo, independente e inteligente em prol da cidade do Rio de Janeiro.

Para quem ainda não se resolveu, ou admite ainda mudar de idéia, sugiro clicar nos links dos nomes, para decidir em quem votar.

Roberto Verhine: ajudando a entender a nova avaliação de ensino

Recebi a nota abaixo de Robert Verhine, professor da Universidade Federal da Bahia e membro da Comissão Nacional de Avaliação do Ensino Superior, com pedido de publicação. Ainda que a nota só faça referência ao artigo publicado recentemente por Cláudio de Moura Castro na revista Veja, ele se refere indiretamente também à crítica que eu tenho feito ao conceito, disponível neste blog.

Tenho lido textos de autoria de Cláudio de Moura Castro desde quando eu era aluno de pósgraduação nos Estados Unidos, nos idos da década de 70. Moura Castro é um pensador líder no campo da Economia da Educação e seus freqüentes artigos, publicados na Revista Veja, têm servido para esclarecer temas complexos, além de habitualmente endereçar tópicos controversos de forma independente e reveladora. Por essa razão, fui surpreendido pelo artigo publicado na Veja de 24 de setembro último, sob o título “Quem entendeu a nova avaliação de ensino?”, que oferece uma linha argumentativa confusa, baseada em informação incompleta e, por vezes, distorcida.

O artigo tem como foco o Conceito Preliminar de Cursos (CPC), que Moura Castro erroneamente chama de Conceito Preliminar de Avaliação. Este índice, composto por três indicadores e com escala de cinco níveis (1 a 5), foi criado pelo MEC para identificar cursos com problemas potenciais. Com base na legislação vigente, todos os cursos da Educação Superior devem ser visitados uma vez a cada três anos, mas a realidade aponta para a impossibilidade do atendimento dessa freqüência, pela simples razão de que o número dos cursos é grande demais (mais de 20.000) e que continua a crescer. O CPC foi criado como resposta a esse problema, viabilizando a avaliação ao permitir identificar, no conjunto dos cursos, aqueles que necessitam da visita ao tempo que, com base em informações confiáveis e já existentes, atribui um escore aos demais. Tendo isso em vista, foi implementada uma abordagem diferente para cada um de dois grupos de cursos. No primeiro grupo, todos os cursos nos níveis mais baixos da escala (níveis 1 e 2) devem ser visitados por uma comissão composta por membros da comunidade acadêmica especialmente treinados nessa avaliação. Durante a visita, três aspectos do curso – sua organização pedagógica, corpo social e instalações – são cuidadosamente avaliados e, como resultado, um conceito final é emitido. Do segundo grupo fazem parte os cursos que recebem um CPC de 3, 4 ou 5. Esses cursos podem, se desejarem, solicitar uma visita de avaliação. Contudo, se não o fizerem dentro de 30 dias, o conceito preliminar é mantido como conc eito final.

No seu artigo, Moura Castro não fornece nenhum dado sobre o propósito do CPC, concentrando-se em censuras não contextualizadas. O autor começa criticando a composição do índice, argumentando que o mesmo foi criado a partir da soma de indicadores muito díspares. Pior ainda, para ele, é o fato de esses indicadores serem pouco conhecidos individualmente. Esse argumento não se sustenta quando se observam outros índices, igualmente compostos por indicadores os mais diversos, como é o caso, por exemplo, do Índice de Desenvolvimento Humano (IDH), do Índice de Desenvolvimento Econômico (IDE) e do Índice de Qualidade de Vida (IQV). Todos esses são comumente utilizados para sintetizar, em uma única escala, variáveis representativas de diferentes dimensões de um mesmo fenômeno. No caso do CPC, como Moura Castro afirma, dois dos indicadores (os resultados do ENADE e o IDD) referem-se aos resultados da Educação Superior e o terceiro (composto por quatro sub-dimensões) abrange insumos do curso. Esses indicadores são bastante conhecidos por aqueles envolvidos com a comunidade universitária e estão descritos detalhadamente, assim como o CPC, no site do INEP. Para a população não universitária, espera-se do CTC o mesmo nível de conhecimento obtido pelos exemplos de índice citados acima. Além disso, é incorreto declarar que o CTC seja uma mera soma de três indicadores. Para seu cálculo, como indicado na página do INEP, os três indicadores são ponderados de acordo com equações matemáticas complexas.

Estranhamente, Moura Castro é crítico do fato de um indicador de insumo ser considerado na formulação do índice, vez que isso equivaleria, em suas palavras, a julgar um restaurante a partir da “marca do fogão, os horários dos cozinheiros ou o número de livros de culinária disponíveis”. Digo estranhamente por que avaliações externas da Educação Superior, uma prática hoje estabelecida regularmente em mais de 50 países, focalizam primariamente os insumos. Daí por que, nesses locais, tais avaliações envolvem visitas que objetivam verificar, in loco, as condições (ou seja, os insumos) que o curso ou instituição oferecem. A idéia de focar os resultados, como proposto por Moura Castro, é teoricamente interessante, mas traz em seu bojo o problema de mensurá-los adequadamente. Testes, a exemplo dos utilizados pelo ENADE ou pelo Provão, são limitados e capturam, no melhor dos casos, apenas uma porção daquilo que deve ser aprendido ou conhecido ao final de um curso de graduação. O ENADE é especialmente fraco nesse aspecto, por usar apenas 40 itens (30 sobre a formação específica e 10 sobre a formação geral), número obviamente insuficiente para avaliar o conhecimento necessário ao exercício de uma profissão de nível superior. Ademais, como observado por Moura Castro, os desempenhos nos testes sofrem influências de fatores externos, tais como a situação familiar, a preparação na Educação Básica, os níveis de motivação e de inteligência do respondente. Nesse sentido o IDD, que compara os resultados de alunos ingressantes com aqueles dos alunos concluintes, é um indicador bastante útil por apontar o que o curso adicionou aos alunos.

Aliás, ao discutir o IDD, Moura Castro omitiu dois aspectos importantes. Primeiro, o IDD é muito mais sofisticado que o que ele pareceu destacar. O indicador não é uma mera subtração da nota dos calouros daquela dos formandos, mas, particularmente, estima, baseado nos dados dos ingressantes, uma expectativa de nota final. Para isso considera não apenas os escores dos testes, mas também a educação dos pais e a seletividade do curso (percentagem dos ingressantes que concluem a graduação). Dessa maneira, o IDD representa a diferença entre os escores observados e esperados dos formandos e, assim, pode gerar tanto um escore positivo (quando o observado supera o esperado) quanto negativo (quando o observado é inferior ao esperado). Moura Castro refere-se ao IDD como Índice de Diferença de Desempenho quando, em verdade, o nome completo é Índice de Diferença entre os Desempenhos Esperado e Observado.

A segunda omissão feita é o não reconhecimento de que o IDD apenas funciona quando ambos os grupos de alunos (ingressantes e concluintes) estão motivados a responder, da melhor maneira que possam, o teste. Seria um desastre se os ingressantes optassem por obter uma nota baixa, dessa maneira contribuindo para um IDD artificialmente maior. Para evitar esse tipo de comportamento, os resultados dos ingressantes foram incorporados (com peso total de 27,5%) à nota do curso no ENADE. Assim, interessa à instituição incentivar os alunos, nas duas pontas do curso de graduação, a efetivamente participarem da avaliação, sob pena de prejudicarem a nota do curso. Moura Castro critica tal inclusão, declarando que a mesma “premia o curso superior que atrai os melhores alunos”. Tal fato também ocorreria mesmo se os resultados dos ingressantes não fossem incluídos, vez que os resultados dos concluintes são sempre influenciados pela qualidade dos alunos na entrada. Em outras palavras, não faz sentido defender a importância do IDD, por um lado, e criticar a inclusão dos resultados dos ingressantes na determinação do conceito do ENADE, por outro.

Moura Castro finaliza seu ensaio declarando que “parece inapropriado entregar ao público uma medida tão confusa”. O mesmo pode ser dito sobre o ensaio que, infelizmente, foi disponibilizado ao público apesar de conduzir a novas confusões.

Eleições USA: tática e estratégia | US elections: tactics and strategy

No debate entre os candidatos, um dos momentos interessantes foi quando Obama disse que o aparente sucesso do “surge” do General Patraeus no Iraque poderia ser uma vitória tática, mas o que era importante era a estratégia, e McCain respondeu dizendo que Obama não sabia a diferença entre estratégia e tática. Para McCain, estratégia era isto: colocar mais tropas no terreno, manter posições, ou, como ele diz: “A strategy of going into an area, clearing and holding, and the people of the country then become allied with you. They inform on the bad guys. And peace comes to the country, and prosperity”.

Para Obama, a questão estratégica é muito mais ampla: estabelecer um novo relacionamento entre os Estados Unidos e o resto do mundo, sem entrar em aventuras militares, e evitar que situações como a do Iraque se repitam. Nesta mudança de postura, a questão de como sair do atoleiro do Iraq não deixa de ser importante, mas é secundária. É McCain, claramente, quem não parece ter idéia da necesssidade de uma nova estratégia para os Estados Unidos, além da doutrina Bush. Esta mesma diferença apareceu nas outras partes do debate, Obama insistindo na necessidade de uma política de cunho social-democrata, que dê prioridade a questões como saúde, educação e proteção social, e McCain insistindo na agenda conservadora do estado mínimo e não interventor.

Em certo sentido, a discussão lembra o debate brasileiro sobre a violência urbana. Que fazer, ocupar as favelas e combater os bandidos ou cuidar da questão social que aflige as cidades brasileiras? A resposta óbvia é que é um falso dilema. É necessário ter força e capacidade de intervenção para reduzir a violência, mas não é possível mudar este quadro de forma mais permanente sem enfrentar as questões mais difíceis, e estratégicas, de repensar e reorganizar as cidades e dar-lhes um novo sentido.

É muito mais difícil, em uma campanha, propor estratégias de longo prazo, e por isto fiquei com a impressão que McCain havia ganho o debate. As pesquisas, no entanto, parecem dizer que quem ganhou foi Obama (veja os links indicados por Bruno Reis em seu comentário). A crise econômica talvez explique isto. Nestas questões, é Obama que defende políticas mais práticas e imediatas em defesa de uma população na eminência de perder suas casas, suas poupanças e sua aposentadoria, enquanto que McCain ainda defende a redução dos impostos das grandes corporações.

A crise americana e a campanha presidencial |The American crisis and the presidential campaign

De viagem nos Estados Unidos, estava contando com a oportunidade de assistir daqui o primeiro debate dos candatos à presidência, logo mais à noite. Mas já é sexta feira de madrugada em Washington, e ainda não se sabe se o debate vai acontecer. A campanha de McCain, esvaziada pela identificação com o governo falido de Bush e a falta de propostas, tem apelado para gestos espetaculares, começando pela invenção de Sarah Palin, para jogar a disputa para o campo da “guerra cultural” entre os fundamentalistas religiosos e os liberais, e agora pelo anúncio de que o candidato suspendia a campanha, e o debate, para assumir lugar de liderança da aprovação das medidas para salvar a economia do país. A Obama, devem ter calculado seus estrategistas, não caberia senão um papel passivo e irrelevante.

Um dia depois, o grande gesto se esvaziava – os congressistas republicanos não apoiaram o plano do governo, McCain não fez mais do que assistir a uma reunião aonde nada se resolveu, sem exercer nenhum papel, e Obama aproveitou para dizer que, por causa da crise, era mais necessário do que nunca que a população tivesse a oportunidade de conhecer as propostas e escolher o próximo presidente do país, que vai herdar e ter que administrar toda esta confusão. E ainda lembrou que um futuro presidente tem que ser capaz de fazer várias coisas ao mesmo tempo… Como são os democratas que têm a maioria no Congresso, são eles, com Obama, que vão afinal definir o rumo das negociações.

McCain vai ou não a Mississipi, para o debate? De lá, dizem que os preparativos continuam, e Obama já confirmou a presença. Os estrategistas de McCain devem estar coçando a cabeça para sobre o que fazer, e como evitar que a cadeira de seu candidato fique vazia, sem reconhecer o fracasso da manobra.

As pesquisas eleitorais continuam dando vitória para Obama no Colégio Eleitoral, mas apertada – 273 a 265 votos, pela última estimativa que vi. A crise econômica está claramente enfraquecendo a campanha de McCain, mas ninguém sabe o que pode ainda acontecer nesta campanha surpreendente.

A nova numerologia do INEP|The new numerology from INEP

Não contente com o “Conceito Preliminar de Cursos”, o INEP, incorrigível, agora lança na imprensa o “Indice Geral de Cursos da Instituição”, combinando os dados do conceito preliminar com as notas de avaliação da pós-graduação da CAPES. Agora “sabemos” que as melhores universidades do Brasil são, nesta ordem, a Universidade Federal de São Paulo, a Universidade Federal de Ciências de Saúde de Porto Alegre, a Universidade Federal de Viçosa e a Universidade Federal de Minas Gerais; as piores são a Universidade de Santo Amaro, a Universidade do Grande ABC, a Universidade Iguaçu e a Universidade Estadual de Ciências da Saúde de Alagoas (a Universidade de São Paulo e a Universidade de Campinas, prudentemente, preferiram ficar fora da brincadeira).

Para que que serve mesmo saber que, segundo o INEP, a Universidade Federal do Rio de Janeiro está na posição 35? Isto ajuda os estudantes a decidir se vale ou não à pena se candidatar para fazer o curso de economia, medicina, educação física ou um doutorado em biofísica nesta instituição, ou uma pós-graduação na COPPE? Isto ajuda o MEC a decidir se vai aumentar ou diminuir os recursos de custeio da Universidade, ou fazer com que ela gerencie melhor os recursos que já recebe? O que se espera? Que ela chegue à posição 20 em “x” anos?…

Para quem que, como eu, sempre defendeu a necessidade de avaliar os cursos e as instituições de ensino superior no Brasil, fica uma situação difícil, já que esta numerologia reforça os argumentos dos que sempre acharam melhor não avaliar coisa nenhuma. O fato é que o INEP não tem condições de fazer uma avaliação adequada das 2.270 instituições e 22 mil cursos superiores que existem por este Brasil afora, e estes exercícios estatísticos, por mais bem feitos que sejam (e não são bem feitos assim, veja minha análise do “conceito preliminar”) estarão sempre sujeitos a demasiados erros e imprecisões, e por isto mesmo não poderiam ser divulgados pela imprensa como o são, ainda que sob o título de “preliminar”.

Que alternativas existem? Eu não tenho respostas prontas, mas acho que poderíamos começar por algumas coisas:

Ao invés de se preocupar tanto em controlar o ensino privado, o Ministério da Educação poderia começar por concentrar esforços em avaliar e controlar melhor suas próprias 105 instituições federais (é o dado de 2006), que são financiadas com recursos públicos, para ter certeza que seus cursos são bons, em áreas prioritárias para o país, e que os recursos estão sendo utilizados de forma racional e eficiente.
Para o setor privado, o Ministério deveria se limitar a assegurar que as instituições têm condições mínimas para funcionar. Ao invés de distribuir estrelas, haveria simplesmente uma certificação institucional (como um ISO educacional) e também uma certificação dos cursos em instituições não universitárias (se não me equivoco, as universidades não precisam de autorização do MEC para criar cursos).
Recursos poderiam ser destinados para reforçar os sistemas de certificação profissional de médicos, advogados, professores, engenheiros e outras áreas profissionais de impacto na saúde, formação e patrimônio das pessoas. Instituições públicas ou privadas que não formassem alunos capazes de passar por estas certificações seriam forçadas a fechar, ou se aperfeiçoar.
Deveria haver um esforço de desenvolver e explicitar as competências e habilidades profissionais esperadas nas diversas áreas profissionais, e usar este conhecimento para a criação de sistemas de avaliação das instituições por profissão, ou carreira, abrindo espaço para o reconhecimento das diferenças que existem entre os cursos em relação às competências que buscam desenvolver.
As instituições privadas, que hoje se sentem prejudicadas pelas avaliações que o INEP produz, deveriam levar a sério o projeto de criar sistemas próprios e independentes de certificação e avaliação de cursos e instituições, que pudessem eventualmente se contrapor aos números oficiais que o governo vem divulgando. A idéia não seria criar um “inepinho” privado, mas ir estabelecendo sistemas de avaliação setoriais, por adesão das instituições interessadas em mostrar para sociedade a qualidade que tenham. Os custos deveriam ser cobertos pelas instituições participantes.
A legislação existente, que criou o CONAES e o SINAIS, precisaria ser revista, para que o país possa desenvolver sistemas de avaliação do ensino superior que tenham qualidade técnica e legitimidade, respeitando a grande diversidade e as dimensões continentais do país, coisas que não ocorrem hoje.

As partículas da física e as partículas sociais|Particle physics and social particles

Escreve Felipe F. Schwartzman:

Se a menor unidade de análise para os físicos são partículas elementares, para os cientistas sociais, são as pessoas e o uso que elas fazem de seu tempo. Uma pesquisa que já vem sendo feita há alguns anos nos EUA, a American Time Use Survey, propõe estudar exatamente isso através do uso de diários nos quais as pessoas colocam o que fazem em cada hora do dia. Depois de muitos estudos e achados interessantes, essa pesquisa teve seu orçamento cortado pelo congresso americano para 2009 pois o preço era considerado alto demais: 6 milhões de dólares.

Enquanto isso, o novo acelerador de partículas custou 8 bilhões. Ou seja, mais de 1300 anos da ATUS. Não é à toa que física tem condições de se proclamar uma “ciência exata”

João Batista Araújo e Oliveira: Educação, da Crise à Euforia| João Batista Aruaujo e Oliveira: Education, from crisis to euphoria

A Folha de São Paulo publica hoje, 1 de setembro de 2008, o artigo abaixo de João Batista Araujo e Oliveira:

ESTRANHO país, o nosso. Em 2006, pela primeira vez na história, um ministro da área reconheceu publicamente que a qualidade da educação brasileira era deplorável, ao apresentar os resultados da Prova Brasil. Nos últimos dias, no entanto, deu-se o inverso. E a propaganda oficial contribuiu para isso. Confundem as sombras com a realidade. Estamos na caverna de Platão.

Em edições recentes das revistas semanais, o governo apresentou uma curva de fazer inveja a Huff e Geis, autores do já quarentão “How to Lie with Statistics” (como mentir usando estatística). Vejamos os dados, depois, as implicações.

O Ideb, indicador oficial do desempenho da educação brasileira, mistura taxas de aprovação com notas dos alunos, aferidas pela Prova Brasil.

Embora seja relevante melhorar as taxas de aprovação, o indicador de qualidade deveria se refletir, isso sim, nas notas. Somente esse índice serve para comparar nossos resultados com os do Pisa.
Qualquer pessoa medianamente versada na matéria sabe distinguir flutuações estatísticas de tendências.

No caso da Prova Brasil, com um desvio padrão que pode variar de 40 a 50 pontos, flutuações inferiores a seis pontos para mais ou para menos, como vem ocorrendo ao longo dos últimos 15 anos, representam pouco mais do que meros ruídos. Seriam relevantes se fossem consistentes.

Ao longo da série histórica de sete aplicações da prova, sempre tivemos flutuações nas provas de português e matemática das três séries avaliadas.

Em 1997, houve quatro flutuações negativas; em 1999, foram seis; cinco, em 2001; uma, em 2003; e quatro, em 2005. Em 2007, todas as flutuações foram positivas. Do total de 20 mudanças negativas, 13 foram inferiores a seis pontos.

A única alteração relevante, em 2007, deu-se nos resultados de matemática na quarta série (11 pontos), o que, certamente, não pode ser justificado por uma política específica para a área. Explicações plausíveis seriam a maior homogeneidade na idade dos alunos (pela eliminação dos de maior idade, no geral com pior desempenho) e o fato de os resultados de matemática serem bastante inferiores ao de língua portuguesa, o que facilita a conquista de melhor patamar.

Já no indicador geral do Ideb, houve mudança de quatro décimos nos resultados da quarta série, um décimo nos resultados da oitava série e nenhuma mudança nos resultados do ensino médio. Exceto no ano de 1999, em que houve queda mais acentuada, os dados não sugerem nenhuma tendência -apenas flutuações em torno de patamares medíocres.

O gráfico usado na propaganda oficial comete duas violações graves. Primeiro, apresenta como descendente praticamente tudo o que vem antes de 2003. Os dados não suportam essa representação. Segundo, aponta como ascendente tudo o que vem a partir de 2005 -e apresenta como se fosse uma tendência.

A maior manipulação, no entanto, se dá na inclinação das curvas e no tamanho dos degraus da caminhada rumo ao mundo desenvolvido.

Esse apelo da propaganda oficial pode prestar um enorme desserviço ao corajoso trabalho de convencimento que o ministro da Educação vem fazendo sobre a gravidade do problema educacional.

Entende-se que prefeitos e autoridades estaduais tenham comemorado pífias melhorias do Ideb, de resto apoiadas essencialmente em alterações nas regras de promoção. Do total de 84 Idebs -são 26 Estados com três Idebs cada-, apenas 14 apresentaram mais de 5% de melhora. Desses, 12 estão em Estados do Norte, Nordeste e Centro-Oeste, onde é muito mais fácil melhorar pelo simples fato de que os dados de base são muito baixos.

A experiência internacional é cheia de ensinamentos a respeito dos ingredientes de como se deve fazer uma reforma da educação e as condições básicas de sucesso. A formação de um consenso sobre os problemas é um primeiro passo essencial. Antes de consolidar essa convicção, já começamos a nos iludir.

Quando Huff e Geis publicaram seu livro, há mais de 40 anos, o objetivo era alertar o leitor para os perigos das manipulações estatísticas. Em 2006, o Brasil deu um passo avante para iniciar uma reforma da educação. Agora, deu dois passos para trás. Mascarar a gravidade da situação dificilmente contribuirá para avançar na formação de consenso na área. Sugerir que já estamos a caminho do sucesso é puro ilusionismo.

JOÃO BATISTA ARAUJO E OLIVEIRA , 61, psicólogo, doutor em educação, é presidente do Instituto Alfa e Beto. Foi secretário-executivo do Ministério da Educação.

Geraldo Martins: a banana, o agrônomo e a fazenda

Escreve Geraldo Martins:

Li texto que preparou para a ABMES no qual procura desvendar os mistérios e os equívocos de nosso sistema se avaliação do ensino superior (está disponível aqui). Mais especialmente dessa invenção do então desconhecido “conceito preliminar de curso”. Penso que você foi muito além disso. Desmascarou e quase demoliu por completo essa farsa burocrática.

Tratando-se de um “conceito preliminar”, significa que não tem credibilidade nem para o próprio MEC.

Muito rigorosa e fundamentada a sua análise dos aspectos técnicos que evidenciam as falhas e distorções na definição dos critérios e na construção dos índices utilizados, bem como nos processos de aplicação e aferição dos resultados.

Acredito que um dos aspectos da inconsistência desse modelo avaliativo prescrito pelo SINAES e operado pelo INEP esteja na mistura confusa entre três objetos da avaliação: o estudante, o curso e a instituição. São realidades interligadas ou interdependentes, mas diferentes em comportamento e desempenho. Cada uma tem a sua história, o seu background, a sua individualidade. Não dá para colocar a banana, o agrônomo e a fazenda no mesmo saco! Principalmente se a semente não presta, ou a terra da fazenda é inóspita! E veja que todas as fazendas são diferentes! Há, portanto, que se conceder atenção e análises distintas para o desempenho do estudante, para a organização e estrutura do curso e para a avaliação institucional propriamente dita. O resultado final, sim, poderia propiciar indicações mais confiáveis.

Acho que o texto foi certeiro nas conclusões e no apontamento de novos caminhos (alguns já velhos de tanto serem recomendados). Criar uma agência autônoma de avaliação do ensino superior; descentralizar as avaliações; permitir a criação de agências independentes de avaliação de direito privado; adotar um sistema ou vários sistemas de certificações.

Achei a proposta de desenvolvimento de padrões de competência para as diferentes áreas de conhecimento fundamental, pois não tem o menor sentido aplicar a mesma régua para todos cursos e instituições.

Portanto, é importante criar sistemas múltiplos e flexíveis de avaliação . Como isso é difícil, conviria mesmo credenciar múltiplas agências avaliadoras e deixar a certificação profissional para as agências e sistemas de certificação das diferentes profissões. Mas isso pressupõe autonomia do sistema universitário em relação ao do sistema das profissões regulamentadas. Ou seja, uma desvinculação entre os sistemas de formação e de credenciamento profissional.

Marcelo Neri: sobre o acesso ao nível superior

Recebi de Marcelo Neri a seguinte comunicação, sobre o tema do acesso de pessoas de baixa renda ao ensino superior:

Esta resposta também pode ser encontrada na pesquisa da FGV “Eficiencia e Equidade na Educação”, nela você vai encontrar o Indice Pró_pobre feito em co-autoria com o economista indiano Nanak Kakwani e Hyun Son . O indice basicamente informa para cada real gasto publico ou privadamente quantos centavos são apropriados pelos pobres. A vantagem desta abordagem é que a resposta se adapta a forma funcional da medida de pobreza utilizada (P0, P1, P2 ou outra qualquer*).

No caso do ensino superior estes índices atingem 0,1 para público e 0,06 para o privado. Ou seja, a possibilidade de um pobre chegar à universidade pública era bem menor do que quase todos os demais níveis. O índice do ensino médio privado de 0,09 é próximo ao da universidade pública, o que é consistente com a idéia de que os alunos de escola privada são os que chegam à universidade pública. O grau de focalização do pré-vestibular de 0,15 mostra que poucos pobres tentam fazer a passagem do segundo para o terceiro grau através deles.