Simon's Site

A nova numerologia do INEP|The new numerology from INEP

Não contente com o “Conceito Preliminar de Cursos”, o INEP, incorrigível, agora lança na imprensa o “Indice Geral de Cursos da Instituição”, combinando os dados do conceito preliminar com as notas de avaliação da pós-graduação da CAPES. Agora “sabemos” que as melhores universidades do Brasil são, nesta ordem, a Universidade Federal de São Paulo, a Universidade Federal de Ciências de Saúde de Porto Alegre, a Universidade Federal de Viçosa e a Universidade Federal de Minas Gerais; as piores são a Universidade de Santo Amaro, a Universidade do Grande ABC, a Universidade Iguaçu e a Universidade Estadual de Ciências da Saúde de Alagoas (a Universidade de São Paulo e a Universidade de Campinas, prudentemente, preferiram ficar fora da brincadeira).

Para que que serve mesmo saber que, segundo o INEP, a Universidade Federal do Rio de Janeiro está na posição 35? Isto ajuda os estudantes a decidir se vale ou não à pena se candidatar para fazer o curso de economia, medicina, educação física ou um doutorado em biofísica nesta instituição, ou uma pós-graduação na COPPE? Isto ajuda o MEC a decidir se vai aumentar ou diminuir os recursos de custeio da Universidade, ou fazer com que ela gerencie melhor os recursos que já recebe? O que se espera? Que ela chegue à posição 20 em “x” anos?…

Para quem que, como eu, sempre defendeu a necessidade de avaliar os cursos e as instituições de ensino superior no Brasil, fica uma situação difícil, já que esta numerologia reforça os argumentos dos que sempre acharam melhor não avaliar coisa nenhuma. O fato é que o INEP não tem condições de fazer uma avaliação adequada das 2.270 instituições e 22 mil cursos superiores que existem por este Brasil afora, e estes exercícios estatísticos, por mais bem feitos que sejam (e não são bem feitos assim, veja minha análise do “conceito preliminar”) estarão sempre sujeitos a demasiados erros e imprecisões, e por isto mesmo não poderiam ser divulgados pela imprensa como o são, ainda que sob o título de “preliminar”.

Que alternativas existem? Eu não tenho respostas prontas, mas acho que poderíamos começar por algumas coisas:

Ao invés de se preocupar tanto em controlar o ensino privado, o Ministério da Educação poderia começar por concentrar esforços em avaliar e controlar melhor suas próprias 105 instituições federais (é o dado de 2006), que são financiadas com recursos públicos, para ter certeza que seus cursos são bons, em áreas prioritárias para o país, e que os recursos estão sendo utilizados de forma racional e eficiente.
Para o setor privado, o Ministério deveria se limitar a assegurar que as instituições têm condições mínimas para funcionar. Ao invés de distribuir estrelas, haveria simplesmente uma certificação institucional (como um ISO educacional) e também uma certificação dos cursos em instituições não universitárias (se não me equivoco, as universidades não precisam de autorização do MEC para criar cursos).
Recursos poderiam ser destinados para reforçar os sistemas de certificação profissional de médicos, advogados, professores, engenheiros e outras áreas profissionais de impacto na saúde, formação e patrimônio das pessoas. Instituições públicas ou privadas que não formassem alunos capazes de passar por estas certificações seriam forçadas a fechar, ou se aperfeiçoar.
Deveria haver um esforço de desenvolver e explicitar as competências e habilidades profissionais esperadas nas diversas áreas profissionais, e usar este conhecimento para a criação de sistemas de avaliação das instituições por profissão, ou carreira, abrindo espaço para o reconhecimento das diferenças que existem entre os cursos em relação às competências que buscam desenvolver.
As instituições privadas, que hoje se sentem prejudicadas pelas avaliações que o INEP produz, deveriam levar a sério o projeto de criar sistemas próprios e independentes de certificação e avaliação de cursos e instituições, que pudessem eventualmente se contrapor aos números oficiais que o governo vem divulgando. A idéia não seria criar um “inepinho” privado, mas ir estabelecendo sistemas de avaliação setoriais, por adesão das instituições interessadas em mostrar para sociedade a qualidade que tenham. Os custos deveriam ser cobertos pelas instituições participantes.
A legislação existente, que criou o CONAES e o SINAIS, precisaria ser revista, para que o país possa desenvolver sistemas de avaliação do ensino superior que tenham qualidade técnica e legitimidade, respeitando a grande diversidade e as dimensões continentais do país, coisas que não ocorrem hoje.

As partículas da física e as partículas sociais|Particle physics and social particles

Escreve Felipe F. Schwartzman:

Se a menor unidade de análise para os físicos são partículas elementares, para os cientistas sociais, são as pessoas e o uso que elas fazem de seu tempo. Uma pesquisa que já vem sendo feita há alguns anos nos EUA, a American Time Use Survey, propõe estudar exatamente isso através do uso de diários nos quais as pessoas colocam o que fazem em cada hora do dia. Depois de muitos estudos e achados interessantes, essa pesquisa teve seu orçamento cortado pelo congresso americano para 2009 pois o preço era considerado alto demais: 6 milhões de dólares.

Enquanto isso, o novo acelerador de partículas custou 8 bilhões. Ou seja, mais de 1300 anos da ATUS. Não é à toa que física tem condições de se proclamar uma “ciência exata”

João Batista Araújo e Oliveira: Educação, da Crise à Euforia| João Batista Aruaujo e Oliveira: Education, from crisis to euphoria

A Folha de São Paulo publica hoje, 1 de setembro de 2008, o artigo abaixo de João Batista Araujo e Oliveira:

ESTRANHO país, o nosso. Em 2006, pela primeira vez na história, um ministro da área reconheceu publicamente que a qualidade da educação brasileira era deplorável, ao apresentar os resultados da Prova Brasil. Nos últimos dias, no entanto, deu-se o inverso. E a propaganda oficial contribuiu para isso. Confundem as sombras com a realidade. Estamos na caverna de Platão.

Em edições recentes das revistas semanais, o governo apresentou uma curva de fazer inveja a Huff e Geis, autores do já quarentão “How to Lie with Statistics” (como mentir usando estatística). Vejamos os dados, depois, as implicações.

O Ideb, indicador oficial do desempenho da educação brasileira, mistura taxas de aprovação com notas dos alunos, aferidas pela Prova Brasil.

Embora seja relevante melhorar as taxas de aprovação, o indicador de qualidade deveria se refletir, isso sim, nas notas. Somente esse índice serve para comparar nossos resultados com os do Pisa.
Qualquer pessoa medianamente versada na matéria sabe distinguir flutuações estatísticas de tendências.

No caso da Prova Brasil, com um desvio padrão que pode variar de 40 a 50 pontos, flutuações inferiores a seis pontos para mais ou para menos, como vem ocorrendo ao longo dos últimos 15 anos, representam pouco mais do que meros ruídos. Seriam relevantes se fossem consistentes.

Ao longo da série histórica de sete aplicações da prova, sempre tivemos flutuações nas provas de português e matemática das três séries avaliadas.

Em 1997, houve quatro flutuações negativas; em 1999, foram seis; cinco, em 2001; uma, em 2003; e quatro, em 2005. Em 2007, todas as flutuações foram positivas. Do total de 20 mudanças negativas, 13 foram inferiores a seis pontos.

A única alteração relevante, em 2007, deu-se nos resultados de matemática na quarta série (11 pontos), o que, certamente, não pode ser justificado por uma política específica para a área. Explicações plausíveis seriam a maior homogeneidade na idade dos alunos (pela eliminação dos de maior idade, no geral com pior desempenho) e o fato de os resultados de matemática serem bastante inferiores ao de língua portuguesa, o que facilita a conquista de melhor patamar.

Já no indicador geral do Ideb, houve mudança de quatro décimos nos resultados da quarta série, um décimo nos resultados da oitava série e nenhuma mudança nos resultados do ensino médio. Exceto no ano de 1999, em que houve queda mais acentuada, os dados não sugerem nenhuma tendência -apenas flutuações em torno de patamares medíocres.

O gráfico usado na propaganda oficial comete duas violações graves. Primeiro, apresenta como descendente praticamente tudo o que vem antes de 2003. Os dados não suportam essa representação. Segundo, aponta como ascendente tudo o que vem a partir de 2005 -e apresenta como se fosse uma tendência.

A maior manipulação, no entanto, se dá na inclinação das curvas e no tamanho dos degraus da caminhada rumo ao mundo desenvolvido.

Esse apelo da propaganda oficial pode prestar um enorme desserviço ao corajoso trabalho de convencimento que o ministro da Educação vem fazendo sobre a gravidade do problema educacional.

Entende-se que prefeitos e autoridades estaduais tenham comemorado pífias melhorias do Ideb, de resto apoiadas essencialmente em alterações nas regras de promoção. Do total de 84 Idebs -são 26 Estados com três Idebs cada-, apenas 14 apresentaram mais de 5% de melhora. Desses, 12 estão em Estados do Norte, Nordeste e Centro-Oeste, onde é muito mais fácil melhorar pelo simples fato de que os dados de base são muito baixos.

A experiência internacional é cheia de ensinamentos a respeito dos ingredientes de como se deve fazer uma reforma da educação e as condições básicas de sucesso. A formação de um consenso sobre os problemas é um primeiro passo essencial. Antes de consolidar essa convicção, já começamos a nos iludir.

Quando Huff e Geis publicaram seu livro, há mais de 40 anos, o objetivo era alertar o leitor para os perigos das manipulações estatísticas. Em 2006, o Brasil deu um passo avante para iniciar uma reforma da educação. Agora, deu dois passos para trás. Mascarar a gravidade da situação dificilmente contribuirá para avançar na formação de consenso na área. Sugerir que já estamos a caminho do sucesso é puro ilusionismo.

JOÃO BATISTA ARAUJO E OLIVEIRA , 61, psicólogo, doutor em educação, é presidente do Instituto Alfa e Beto. Foi secretário-executivo do Ministério da Educação.

Geraldo Martins: a banana, o agrônomo e a fazenda

Escreve Geraldo Martins:

Li texto que preparou para a ABMES no qual procura desvendar os mistérios e os equívocos de nosso sistema se avaliação do ensino superior (está disponível aqui). Mais especialmente dessa invenção do então desconhecido “conceito preliminar de curso”. Penso que você foi muito além disso. Desmascarou e quase demoliu por completo essa farsa burocrática.

Tratando-se de um “conceito preliminar”, significa que não tem credibilidade nem para o próprio MEC.

Muito rigorosa e fundamentada a sua análise dos aspectos técnicos que evidenciam as falhas e distorções na definição dos critérios e na construção dos índices utilizados, bem como nos processos de aplicação e aferição dos resultados.

Acredito que um dos aspectos da inconsistência desse modelo avaliativo prescrito pelo SINAES e operado pelo INEP esteja na mistura confusa entre três objetos da avaliação: o estudante, o curso e a instituição. São realidades interligadas ou interdependentes, mas diferentes em comportamento e desempenho. Cada uma tem a sua história, o seu background, a sua individualidade. Não dá para colocar a banana, o agrônomo e a fazenda no mesmo saco! Principalmente se a semente não presta, ou a terra da fazenda é inóspita! E veja que todas as fazendas são diferentes! Há, portanto, que se conceder atenção e análises distintas para o desempenho do estudante, para a organização e estrutura do curso e para a avaliação institucional propriamente dita. O resultado final, sim, poderia propiciar indicações mais confiáveis.

Acho que o texto foi certeiro nas conclusões e no apontamento de novos caminhos (alguns já velhos de tanto serem recomendados). Criar uma agência autônoma de avaliação do ensino superior; descentralizar as avaliações; permitir a criação de agências independentes de avaliação de direito privado; adotar um sistema ou vários sistemas de certificações.

Achei a proposta de desenvolvimento de padrões de competência para as diferentes áreas de conhecimento fundamental, pois não tem o menor sentido aplicar a mesma régua para todos cursos e instituições.

Portanto, é importante criar sistemas múltiplos e flexíveis de avaliação . Como isso é difícil, conviria mesmo credenciar múltiplas agências avaliadoras e deixar a certificação profissional para as agências e sistemas de certificação das diferentes profissões. Mas isso pressupõe autonomia do sistema universitário em relação ao do sistema das profissões regulamentadas. Ou seja, uma desvinculação entre os sistemas de formação e de credenciamento profissional.

Marcelo Neri: sobre o acesso ao nível superior

Recebi de Marcelo Neri a seguinte comunicação, sobre o tema do acesso de pessoas de baixa renda ao ensino superior:

Esta resposta também pode ser encontrada na pesquisa da FGV “Eficiencia e Equidade na Educação”, nela você vai encontrar o Indice Pró_pobre feito em co-autoria com o economista indiano Nanak Kakwani e Hyun Son . O indice basicamente informa para cada real gasto publico ou privadamente quantos centavos são apropriados pelos pobres. A vantagem desta abordagem é que a resposta se adapta a forma funcional da medida de pobreza utilizada (P0, P1, P2 ou outra qualquer*).

No caso do ensino superior estes índices atingem 0,1 para público e 0,06 para o privado. Ou seja, a possibilidade de um pobre chegar à universidade pública era bem menor do que quase todos os demais níveis. O índice do ensino médio privado de 0,09 é próximo ao da universidade pública, o que é consistente com a idéia de que os alunos de escola privada são os que chegam à universidade pública. O grau de focalização do pré-vestibular de 0,15 mostra que poucos pobres tentam fazer a passagem do segundo para o terceiro grau através deles.

Ainda os estudantes de baixa renda no ensino superior

Tenho recebido muitos telefonemas de jornalistas perguntando sobre a pesquisa que que eu teria feito a respeito do assunto, a partir da matéria publicada na Folha de São Paulo na segunda feira passada. Eu já publiquei uma nota sobre isto, mas não foi suficiente. Voltemos pois.

Primeiro, eu não fiz nenhuma pesquisa, simplesmente utilizei os dados da Pesquisa Nacional por Amostra de Domícilios do IBGE, coisa que aliás pesquisadores do IPEA, da Fundação Getúlio Vargas e de outras partes fazem constantemente, e os jornalistas divulgam como se fossem novas informações. Os dados da PNAD são de domínio público, e podem ser processados facilmente por quem disponha de um programa estatístico em seu computador.

No caso, o que eu fiz foi tabular os dados da renda familiar para os diversos anos (que é a variável v4722, para quem lida com a PNAD), para as pessoas que estavam em curso superior naquele ano. Os resultados estão no quadro ao lado. O que se pode ver é que o número de estudantes de nível superior tem aumentado ano a ano; que o total de estudantes com renda familiar até 3 salários mínimos aumentou em 183% de 2004 a 2006; e que isto signficou passar de 10,1% para 15% do total (um aumento de cinco pontos percentuais).

O que também mostrei na mensagem anterior foi que, do ponto de vista da distribuição da renda dos estudantes, quase não houve mudança. A explicação é que, como o valor do salário mínimo subiu muito nestes anos, ele não é adequado para classificar as pessoas como de “baixa renda” da mesma forma de um ano a outro.

Em resumo, o ensino superior brasileiro se expandiu muito entre 2004 e 2006 (os dados da PNAD de 2007 ainda não estão disponíveis para saber se a tendência continua); com esta expansão, a proporção de estudantes de menor renda tem aumentado um pouco; mas o perfil de grande concentração dos estudantes nos níveis de renda mais alto tem se mantido; e a renda em salários mínimos não é um bom critério para fazer comparações, leva interpretações enganosas.

O “conceito preliminar de curso” e as boas práticas de avaliação da educação superior

A convite da Associação Brasileira de Mantenedoras de Ensino Superior – ABMES, preparei uma análise do “conceito preliminar de curso” e, mais amplamente, do sistema de avaliação do ensino superior brasileiro, à luz das boas práticas intenacionais de avaliação, para um seminário que deve ocorrer em Brasilia no início de setembro. O texto permite também entender melhor a “cozinha” deste conceito recentemente divulgado. O texto, em versão também preliminar, e aberto a críticas, correções e sugestões de melhoria, está disponível aqui.

O aumento de pessoas de baixa renda no ensino superior

A Folha de São Paulo publica hoje matéria dizendo que o número de estudantes de baixa renda ensino superior brasileiro teria subido em 49% entre 2004 e 2006, baseado em uma tabulação de dados da PNAD que fiz a pedido da repórter. Na verdade, foi um aumento de cinco pontos percentuais – eram 10.1% em 2004, e passaram a 15.1% em 2006 (já tivemos uma discussão neste blog a respeito dos erros que podem ocorrer quando calculamos percentagens de percentagens). Em números absolutos, no entanto, os dados parecem mais significativos – houve um aumento de 185% – de 224 mil para 745 mil, do número de estudantes de famílias de até 3 salários mínimos.

Acontece que o valor do salário mínimo vem aumentando muito nos últimos anos, e uma familia que ganhava até 3 salários mínimos em 2006 – R$ 1050,00 – estava no sétimo décimo da distribuição de renda daquele ano, e seria considerada em algumas pesquisas publicadas recentemente como de classe média.

Uma maneira melhor de ver a questão é pela percentagem de pessoas no ensino superior em termos de sua posição na distribuição de renda famliar do país. Dividindo a população em 10 grupos de igual tamanho, de menos a mais renda, podemos verificar se o acesso ao ensino superior das pessoas mais pobres efetivamente aumentou, e quanto. O quadro ao lado mostra os resultados, em percentagens acunuladas.

O que se pode ver é que o total de estudantes de nível superior oriundos da metade mais pobre da população brasileira passou de 9 para 11% entre 2004 e 2006. No outro extremo, o total oriundo das familias 10% mais ricas baixou de 40 para 38%. Algum progresso, sem dúvida, mas nada espetacular. E nem poderia ser muito diferente, dada a má qualidade e estagnação em que se encontra a educação média no país.

Pesquisa Universitária na América Latina – experiências exitosas

Já estão disponíveis os resultados deste projeto, desenvolvido pelo IETS em parceria com o InterAmerican Network of Academies of Sciences (IANAS), e com o apoio da Fundação Ford. O trabalho consistiu no exame de um grupo seleto de casos em diferentes países latinoamericanos em que centros e institutos de pesquisa universitários se mostraram capazes de desenvolver projetos que têm, ao mesmo tempo, conteúdo científico e técnico de qualidade, e contribuem de forma significativa para o bem estar social e o desenvolvimento sustentado de seus países. O objetivo principal foi identificar os arranjos institucionais, financeiros e acadêmicos que permitem a estas instituições desenvolver estes projetos e atividades.

Sabemos, pela literatura existente, que as conexões mais frutíferas entre ciência, tecnologia e inovação não obedecem a uma sequência linear, da ciência básica às aplicações (conforme os modelos de oferta) nem da demanda à pequisa aplicada e básica (conforme os modelos de demanda), mas ocorrem através de interações e negociações complexas que ligam os diferentes participantes dos processos de inovação, nas quais o papel empresarial e de liderança dos pesquisadores e cientistas é de grande importância. As instituições universitárias, tradicionalmente, estão organizadas de forma rígida, que dificultam o desenvolvimento destas novas formas de interação. No entanto, existem exemplos importantes de atuação inovadora que vão além destas limitações, e que o estudo tratou de identificar e difundir.

Os casos escolhidos em cada país buscaram cobrir instituições públicas e privadas, em diferentes áreas de atuação – tecnológica, de biociências, agrícola e sócio-econômica. Além dos estudos de casos, disponíveis aqui, os resultados foram publicados em um livro consta de uma introdução, sobre “Educação Superior, Pesquisa Científica e Inovação na América Latina” (Simon Schwartzman); capítulos gerais sobre “Incentivos e Obstáculos ao Empreendedorismo Acadêmico” (Elizabeth Balbachevsky); “Propriedade Intelectual: Política, Administração e Prática nas Universidades Latinoamericanas” (Carlos M. Correa) e “Financiamento das Relações Universidade – Indústria” (Antônio José Junqueira Botelho e José Antônio Pimenta Bueno); e um capítulo para cada país, com um panorama geral da pesquisa universitária e o sumário dos estudos de caso.

O livro está publicado em versão eletrônica em português, pela Biblioteca Vrtual em Ciências Humanas do Centro Edelstein de Ciências Sociais; em versão espanhola, pelo Instituto Internacional da UNESCO para a Educação Superior na América Latina e Caribe (IESALC), e a versão em inglês está prevista para ser publicada proximamene pela SensePublishers.

Os textos completos dos livros, assim como os 16 estudos de caso, podem ser baixados daqui.

O enigma do Conceito Preliminar de Curso

No dia 6 de agosto o Ministério da Educação divulgou um até então desconhecido “Conceito Preliminar de Curso” que classificou 508 dos 2.028 cursos avaliados pelo ENADE de 2007 como de qualidade insuficiente, 444 da rede privada (19,5% do setor) , e 64 da rede pública (12,2%).

Embora “preliminares”, e aparentemente sujeitos a revisão, estes conceitos foram amplamente divulgados pela imprensa, afetando a reputação e provocando a reação indignada de muita gente. Existem de fato muitos cursos superiores de má qualidade neste país, públicos e privados, que precisam ser avaliados de forma externa e independente. A avaliação, quando bem feita, informa o público sobre cursos que devem ser buscados ou evitados, e estimula as instituições a melhorar seu desempenho. A auto-avaliação não é suficiente, porque ela não produz resultados comparáveis, e são geralmente defensivas.

O problema com a avaliação do ensino superior brasileiro não é que ela exista, mas a forma como ela é feita, e como os resultados são divulgados. O ENADE tem problemas técnicos graves, alguns dos quais eu apontei tempos atrás, e não me parece que tenham sido resolvidos. Entre outros, ele inclui uma prova de “formação geral” que, com 10 perguntas, tenta medir dezenas de competências, e não mede nenhuma (uma simples prova bem feita de linguagem seria melhor); provas de formação específica que não estão devidamente elaboradas em termos das competências que deveriam medir (cada uma delas se baseia em uma lista de matérias que o estudante deveria conhecer, o que é bem diferente); e uma estranha aritmética em que os resultados das provas aplicadas aos alunos que iniciam os cursos são somados aos resultados dos que terminam, aumentando os conceitos dos cursos que conseguem atrair estudantes mais qualificados, presumivelmente de nivel socio-econômico mais alto, mesmo que aprendam muito pouco nos anos seguintes, e punindo os que admitem alunos menos qualificados e contribuem mais para formá-los.

Sem poder mexer nesta aritmética, o INEP calculou um “indice de diferença de desempenho (IDD)”, que estima em que medida o desempenho dos alunos ao final do curso está acima ou abaixo do que seria estatisticamente esperado dadas as condições gerais dos alunos ingressantes. Além disto, o INEP desenvolveu um outro índice de “insumos” que combina informações sobre professores com doutorado e em tempo integral e opiniões dos alunos sobre os programas dos cursos. Tudo isto – ENADE, IDD, Insumos – é combinado com pesos definidos não se sabe como, e daí sai o “Conceito Provisório”.

Como o ENADE e o IDD medem coisas diferentes, e o segundo foi inventado para corrigir os erros do primeiro, é difícil interpretar o que de fato o Conceito Provisório está medindo (não parece que as informações sobre insumos privilegiem as instituições públicas, já que elas só entram na medida em que se correlacionam com o IDD). Uma medida de avaliação, além de ser tecnicamente bem feita, precisa ter uma interpretação clara, e precisa ser feita de forma independente e transparente, para que tenha legitimidade. Nada disto ocorreu com o Conceito Provisório.

Quando eu tenho uma dor de barriga e procuro um médico, ele não pode olhar as estatísticas sobre os possíveis correlatos da dor de barriga, e assim orientar meu tratamento. Ele precisa fazer um diagnóstico clínico de meu caso, e para isto, claro,os exames e as estatísticas são muito úteis. Da mesma forma, não é possível emitir juizos de valor sobre cursos superiores específicos a partir de estimativas estatísticas, por melhores que sejam. A avaliação deve ser feita por pessoas de carne e osso, com nome e sobrenome, que sejam respeitadas em seu meio, e que assinem embaixo. Sem isto, a credibilidade dos resultados sofre, e os sistemas de avaliação, que deveriam desempenhar um papel importante, acabam desmoralizados.