pisaO Blog “Inside Higher Education – The World Wiew” publicou uma nota minha sobre as implicações dos resultados maisecentes do PISA para a educação superior, cujo texto em inglês está disponível aqui. Abaixo está a versão em português.

As implicações dos resultados do PISA para a Educação Superior

A OCDE acaba de publicar os resultados de sua avaliação da proficiência dos alunos na resolução de problemas  aos 15 anos , em 45 países e regiões, sem maiores surpresas. Os países com melhores resultados são os que também são melhores  em outras avaliações em ciência, matemática e linguagem. Os países e regiões da Ásia – Cingapura , Coréia , Hong Kong , Taipé – estão no topo , seguido por países da Europa Ocidental e América do Norte – Canadá, Finlândia , Inglaterra, França – com os países latino-americanos e alguns outros na parte inferior – Brasil , Malásia , Emirados Árabes Unidos Uruguai , Bulgária , Colômbia. Na Coréia, 28 % dos alunos mostram alto desempenho (níveis 5 e 6);  nos Estados Unidos , 11,5 % ; no Brasil, apenas 1,9%. No outro outro extremo, 48% dos estudantes brasileiros mostram desempenho mínimo ou abaixo do mínimo esperado.

Quais são as implicações desses resultados para o ensino superior ? Na Ásia , onde os países estão se esforçando para levar algumas das suas universidades ao topo nos rankings internacionais de qualidade e pesquisa, a existência de um grande número de estudantes de alto desempenho mostra que eles podem fazê-lo , desde que façam os investimentos necessários e dotem sua instituições de flexibilidade no uso de recursos . Esta não tem sido, no entanto, uma prioridade nos países da América Latina, onde as questões de acesso e equidade têm tido precedência. O Uruguai (assim como o México e a Argentina, que não participam do PISA)  tem uma longa tradição de acesso universal ao ensino superior, e o Brasil está se movendo nessa direção,  estabelecendo  cotas para estudantes menos dotados para entrar instituições públicas e fornecendo subsídios para os do setor privado.

Dada a quase inexistência de estudantes de bom desempenho aos 15 anos, é provavelmente sábia a decisão destes países de não entrar na competição internacional por excelência. A questão que fica, porém, é  - que tipo de formação  podem proporcionar para  alunos tão mal preparados que chegam ao ensino superior? Algumas instituições tentam resolver este problema fornecendo cursos de recuperação , mas é improvável que isso seja suficiente para compensar as lacunas de linguagem e matemática acumuladas ao longo de muitos anos anteriores. A outra solução seria oferecer educação profissional mais prática e com  menos pré-requisitos em termos de competências linguísticas e matemáticas. O problema aqui é que, com poucas exceções, esses países não acumularam a experiência ou tradições  de trabalho que são necessários para oferecer educação profissional de qualidade. A terceira “solução”, que é o que está acontecendo na maioria dos casos, é diminuir os padrões de exigência do ensino superior convencional e colocar a maioria dos estudantes e nas “profissões sociais”,  e permitindo que algumas instituições e cursos funcionem de maneira mais seletiva.

No passado, quando o número de alunos que entravam no ensino superior era pequeno, mesmo cursos de má qualidade eram atraentes para os alunos, por causa do prestígio e  benefícios associados aos diplomas universitários. Agora, porém, com milhões entrando ensino superior a cada ano,  há uma inflação de diplomas que corrói muito de seu valor, fazendo com que muitos abandonem os cursos superiores antes de terminar ou acabem indo para atividades profissionais de nível médio apesar de seus diplomas.

O principal desafio para esses países, certamente, é  melhorar a qualidade de sua educação básica. Isso, no entanto, vai levar um longo tempo no melhor dos casos. Enquanto isto, os problemas que afetam o ensino superior precisam ser enfrentados, e não podem esperar.

performers

A OECD acaba de publicar os resultados da avaliação feita em 2012 sobre a capacidade dos estudantes de 15 anos de resolver problemas práticos da vida real, parte do programa internacional de avaliação da educação (PISA), cujo texto completo está disponível aqui.  A amostra é de estudantes que estão cursando as séries correspondentes à sua idade (no final do ensino fundamental ou início do médio). Os estudantes que se saem melhor são os da Ásia (Singapura, Coréia, e diversas províncias da China), seguidos pelo Canadá e países europeus. Estes resultados derrubam o mito de que os estudantes na Ásia são mais aplicados, mas os europeus e americanos seriam mais criativos e inventivos.  Na realidade, altos níveis de educação, conhecimento e capacidade de resolve problemas práticos são inseparáveis.

Os resultados do Brasil, para variar, são muito ruins. Dos 44 países e regiões que participaram do estudo, o Brasil está na posição 38, melhor do que Uruguai e Colômbia na América Latina, mas bem abaixo do Chile (os Estados Unidos estão na posição 18).

O gráfico ao lado compara a distribuição dos resultados do Brasil com os da Espanha, Chile, Portugal e Canadá, em 6 níveis de desempenho. Nesta classificação, os de nível  V e VI são os “top performers”,  os de nível IV são “strong performers”, os de nível II e III são “moderaste performance”, e os de I ou menos são “poor performers”.  Nesta escala, 47% dois estudantes brasileiros aos 15 anos são “poor performers”, e somente 1.8 estão na categoria “top”. Em contraste, no Canadá, 17.5% estão na categoria “top”.  Na Coréia, esta percentagem sobe para 27.6%, e só 6.9% dos estudantes estão na categoria “poor”.

Na América Latina, o único país que mostra resultados mais significativos é o Chile, com menos estudantes nas categorias mais baixas do que o Brasil, mas ainda sem conseguir formar muitos estudantes de alto desempenho.  Portugal e Espanha estão bem abaixo de outros países europeus, mas ainda bem melhores do que Brasil e Chile.

 

 

A propósito da anunciada saída de Claudia Costin da Secretaria Municipal de Educação do Rio de Janeiro, a publicação “Folha Dirigida” me pediu um breve comentário sobre sua gestão, reproduzido abaixo, publicado no Caderno de Educação  de 25 a 31 de março de 2014.

O que achou da gestão de Claudia Costin?

Quando, em 2009, Claudia Costin assumiu a Secretaria de Educação, encontrou uma situação calamitosa. Nos anos anteriores, com a implantação da “promoção automática” os alunos não eram avaliados, e o rendimento escolar, medido pelo IDEB, estava entre os mais baixos do país, com milhares de alunos analfabetos em todas as series. Os professores estavam desmotivados, não havia envolvimento dos pais, não haviam projetos para a educação infantil, e muitas escolas viviam em situações de violência e insegurança. Nos anos seguintes foram implantados, entre outros, programas de realfabetização, sistemas regulares de avaliação em português e matemática, sistemas de recompensa para escolas que melhorassem o desempenho, ampliação da educação infantil, o projeto “escolas do amanhã” para escolas localizadas em áreas de violência, o projeto do “ginásio carioca”, o desenvolvimento de materiais pedagógicos organizados e disponíveis pela internet (a “educopédia”) programas de capacitação de professores e um programa de implantação de escolas em tempo integral (a lista de ações empreendidas está disponível aqui). Para muitas destas ações, foram estabelecidas parcerias com organizações privadas que pudessem contribuir com recursos, ideias e concepções novas para romper o histórico círculo vicioso de má qualidade e ineficiência da Secretaria.

Um projeto como este não teria como se implantar sem resistência, e as críticas se concentravam em dois pontos principais: as avaliações de desempenho e as parcerias externas. Por detrás do trabalho da Secretaria, diziam, haveria um plano sinistro de “privatizar” a educação do Rio de Janeiro, e de – o maior pecado – submeter os professores a avaliações de mérito. No final de 2013 a secretaria foi sacudida por uma greve política cujo principal objetivo não era salarial, mas a desmontagem de todo o projeto pedagógico dos anos anteriores. Com a saída de Costin, a questão agora é se este projeto vai ser continuado e fortalecido pela Prefeitura, ou vai tudo voltar ao que era antes, para a infelicidade das crianças deste rico e pobre Estado do Rio de Janeiro.

 

 

Diante da violência do governo contra a manifestações públicas de protesto, as academias de ciência da Venezuela lançaram um documento em que, além de exigir do governo que acabe com a repressão e garanta os direitos democráticos de expressão, rechaça de maneira categórica “todo o intento de impor um pensamento único na condução do país”. O documento do Comitê Interacadêmico das Academias Nacionais está disponível aqui.

Comparto um pedido de colegas universitários da Venezuela de apoio aos protestos contra as violações dos direitos humanos que estão ocorrendo naquele país. Quem quiser participar do protesto pode assinar aqui.

DESDE VENEZUELA – CARTA A LOS COLEGAS

Nosotros, universitarios, científicos y académicos venezolanos, acudimos a este medio para solicitar el apoyo de nuestros colegas de la comunidad científico-tecnológica nacional e internacional, para difundir lo que está ocurriendo en nuestro país en estos momentos complejos.

Desde hace algún tiempo la situación en Venezuela ha mostrado signos muy preocupantes para la necesaria convivencia democrática y la garantía de los derechos fundamentales a todos los ciudadanos. Entre otros, destacamos una situación económica y social apremiante, caracterizada por una importante inflación (56% en 2013, 76% en alimentos), una escasez marcada de productos básicos (28%) que incluye insumos esenciales del área de la salud, violación sistemática a los derechos laborales, índices sumamente elevados de violencia ( más de 70 asesinatos por 100 mil habitantes, de los más altos del mundo) y 92% de impunidad judicial, así como denuncias repetidas de violaciones a los derechos humanos y restricciones cada vez mayores a la libertad de prensa e información.

El gobierno actual no muestra comportamientos democráticos. En el país no existe ya una separación real de los poderes públicos, el ejecutivo los controla todos. En numerosas ocasiones se salta e irrespeta la Constitución.

Las universidades autónomas están cercadas económicamente y por la violencia, haciendo difícil la docencia, la investigación y la formación de las nuevas generaciones. La producción y aplicación de nuevos conocimientos se estanca y retrocede, alejando al país del desarrollo actual de la sociedad mundial.

El futuro del país es oscuro. Ante el desbordamiento de la violencia, los jóvenes ven cortadas sus posibilidades de realización y desarrollo. Muchos han emigrados y los que se quedan reclaman ahora con protestas para que haya un cambio de políticas que garantice mejores condiciones de vida para todos los venezolanos.

En particular, a raíz de las acciones de protesta iniciadas hace algunas semanas por el movimiento estudiantil universitario hemos asistido a violaciones sistemáticas de la constitución y de las leyes, caracterizadas por el uso de fuerza desmedida en el control de manifestaciones ciudadanas (incluyendo el uso de armas expresamente prohibidas) que han generado pérdidas humanas, numerosos casos de heridos de bala, detenciones arbitrarias que incumplen procedimientos legales obligatorios, sin derecho a la legítima defensa, desapariciones forzadas de algunos ciudadanos, tortura física o psicológica contra los detenidos, allanamiento sin orden judicial de sedes de partidos políticos y hogares, destrucción de propiedad privada, atentados con armas de fuego, tanquetas y armas antimotines contra centros residenciales y finalmente, convivencia de las fuerzas de seguridad del gobierno con grupos violentos armados no adscritos a ningún cuerpo institucional, que actúan al margen de lo establecido en la ley. Todas estas acusaciones están sustentadas en material fotográfico y de video recogidos a lo largo del país por ciudadanos y víctimas y pueden encontrarse en los links de varios grupos de DDHH que operan en el país o de manera internacional, algunos de ellos anotados al final de esta carta.

Los hechos descritos en el párrafo anterior no son admisibles bajo ninguna circunstancia. Creemos firmemente en la búsqueda de soluciones a los graves problemas que enfrenta nuestro país mediante el diálogo y la construcción de una cultura de paz, pero eso sólo será posible cuando el gobierno de Venezuela se apegue al marco del estado de derecho previsto en la Constitución y las leyes de la República, así como a tratados internacionales como el pacto de San José, el marco constitutivo de Unasur y la declaración de la ONU, entre otros. Nuestro llamado es a nuestros colegas para que nos apoyen en lograr este objetivo través de las redes académicas y científicas a nivel regional e internacional.

Caracas, 21 de febrero de 2014

http://www.derechos.org.ve/

http://www.derechos.org.ve/2014/02/18/mosbase-rechaza-ola-de-represion-y-violencia-ocurrida-en-el-pais/

http://www.conflictove.org.ve/

http://www.conflictove.org.ve/derechos-humanos/ai-accion-urgente-mundial-por-venezuela-tres-manifestantes-muertos.html

http://www.conflictove.org.ve/derechos-humanos/human-rights-watch-venezuela-debe-investigar-la-violencia-durante-protestas.html

http://www.cofavic.org/

http://www.cofavic.org/det_noticia.php?id=259

EXCLUSIVO: Comunicado Movimiento Estudiantil 2014

https://twitter.com/FCEUSB/status/436953950168690688/photo/1

http://www.avaaz.org/es/petition/Academicos_cientificos_universitarios_del_mundo_Protestar_violaciones_de_DDHH_en_Venezuela/?tsMAVdb

Unknown

Vota primeiro, e pensa depois!

Lulismo ou “qualunquismo”?

Marcus André Melo

Há duas visões rivais sobre a política  brasileira na era dos governos petistas. A primeira aponta para um fenômeno supostamente novo – o lulismo – que representaria um realinhamento histórico que teria ocorrido na última década. A denominação lulismo – em lugar de petismo – chama a atenção para o fato de que os votos no PT e no presidente passaram a dissociar-se. Este realinhamento se daria pela conquista dos grotões : o eleitorado petista teria se deslocado definitivamente para as regiões mais pobres – o nordeste, o norte – áreas que estiveram por décadas sob controle de setores conservadores.  Para isso teria contribuído a ampliação de programas sociais, como o bolsa família, e uma estratégia de comunicação nova – por direta e eficaz – que o presidente Lula encarnaria. A visão alternativa é que este realinhamento não teria ocorrido e a “conquista  do nordeste” seria uma mera re-atualização da patologia recorrente da política brasileira: o governismo.

Em livro clássico sobre o clientelismo no mezzogiorno italiano, Chubb analisou o “qualunquismo” – o governismo arraigado somado à indiferença e cinismo cívico. Prefiro esse termo para caracterizar a situação brasileira porque o termo governismo tout court pode sugerir alguma forma de identificação política com o governo.  “Qualunquismo” – derivado de “qualunque”, qualquer um – é uma variante invertida  do hay gobierno soy contra. Mas a ela se conjugam o cinismo, o alheamento frente ao mundo da política.

A versão forte ou maximalista do argumento do lulismo é que finalmente os pobres acordaram de sua entorpecimento histórico. A meta-narrativa presente nesta visão é que – permitindo-me recorrer a um termo meio esquecido do léxico político – os pobres passaram a ter “consciência de classe”.

Que suporte empírico é mobilizado para sustentar o argumento do lulismo? O primeiro é que ocorreu uma inegável reorganização territorial do voto no Brasil a partir de 2006. O voto petista efetivamente concentrou-se nos estados mais pobres. Inferir o comportamento individual dos eleitores de dados agregados (neste caso, municípios ou estados mais pobres) é um dos erros elementares de análise estatística (a chamada falácia ecológica) , mas há evidências que os mais pobres de fato votam no PT.  Uma variante é que estaria ocorrendo uma polarização de base territorial. Esse argumento ecoa algo da literatura acadêmica sobre realinhamento partidário nos EUA.  Só que no Brasil não há nenhum equivalente à clivagem entre o norte e o sul nos EUA em torno da questão racial. Os quatro realinhamentos que essa literatura identifica – desde a fundação do partido democrata por Andrew Jackson até a década de 60 – tiveram ela como vetor. Não há evidências que qualquer fator regional esteja associado ao lulismo – como nos EUA ou mesmo em outros países na América Latina – , para além de comentários preconceituosos disparados no facebook. Nesse caso o argumento parece uma idéia fora de lugar.

O argumento do ”qualunquismo” tem sido defendido com base em evidências que o eleitor dos grotões sempre tende a apoiar quem está no governo, mesmo quando não mantem afinidades eletivas com ele. De fato, as pesquisas mostram que nas últimas cinco eleições presidenciais o voto nessas regiões tem sido invariavelmente governista. A lógica por trás do voto ”qualunquista” já foi discutida há mais de 50 atrás por Victor Nunes Leal em “Coronelismo, enxada e voto”. A dependência dos grotões frente ao governo central impelia os moradores dessas áreas a apoiarem o governo. A intensa competição política local era apenas “uma disputa para ver quem iria ter o privilégio de apoiar o governo central”.  Nesse sentido, o voto petista concentrado no norte/nordeste  não representou uma “marcha para o nordeste” mas apenas a chegada do partido ao poder. O privilégio de quem vai apoiar o governo central continuaria sendo disputado por elites atrasadas. A força intuitiva desse argumento  vem do fato de que o rol dos que tem o privilégio de apoiar o governo central é assustador: uma mirada para Alagoas e Rondônia, passando pelo Pará e Maranhão, seria suficiente. Quem está na oposição só tem a oferecer ideologia e princípios: por isso o PT, como o MDB antes dele, nasceu urbano e cosmopolita. Mas os testes estatísticos sustentam esse argumento robustamente.

Embora a tese do qualunquismo seja mais persuasiva e esteja firmemente ancorada em evidências, ela é ainda insatisfatória. A conquista dos grotões não é nada mais que um reflexo da consolidação da democracia no Brasil.  Quando se inaugura um mercado eleitoral competitivo – como o brasileiro – a tendência no médio e longo prazo é que ocorra um realinhamento de políticas. Essa é a essência do teorema do eleitor mediano – uma espécie de lei da gravidade da ciência política. Quando a renda é fortemente concentrada, a renda do eleitor mediano é significativamente menor do que a renda per capita. Haverá então pressões redistributivas  –  tanto mais fortes quanto maior o hiato de renda entre a mediana da distribuição de renda e sua média. Isso explica porque todos os principais  contendores da disputa presidencial atual apoiam o bolsa família ou até prometam elevar seu escopo e valor. A política de transferências sociais é o que os cientistas políticos denominam  “valence issue“.  Sua consensualidade – pelo menos no que se refere à redistribuição moderada de renda – implica que os políticos são avaliados apenas pela maior ou menor competência em garantir que os objetivos da política sejam atingidos. Assim não é o nordeste mas a maioria dos brasileiros, que tem baixa renda, que sob a democracia, apoia medidas redistributivas. O que há de novo na política nacional é a “federalização  do crédito político” com a política social, o que antes só existia na fixação do salário mínimo. A política de transferência de renda não tem intermediários:  o eleitor de baixa renda vota no presidente que redistribui mais e melhor  (e no oligarca local que aprova a emenda ao orçamento). Mas o eleitor se defronta com um dilema: se deixar de apoiar seu candidato local que garante benefícios estará dando um tiro no próprio pé. Nessas outras áreas de política há um intermediário: ele se alinhará ao que tiver mais chances – em geral o incumbente do cargo – qualunque!

imagesNa medida em que aumenta a importância do conhecimento, em sua produção, transmissão e uso, também aumenta a preocupação com a maneira pela qual a produção de conhecimento e a educação são avaliados. Este tema foi objeto de matéria recente no Suplemento Sobre Cultura da revista Ciência Hoje, para o qual colaborei com uma nota que reproduzo abaixo.  Recentemente foi publicada uma importante “Declaração de São Francisco” sobre a avaliação da pesquisa, criticando o uso indiscriminado do chamado “fator de impacto” das revistas científicas como critério de avaliação, que pode ser assinada por pessoas que concordem com o seu teor. Para quem se interessar, publiquei também um artigo meses atrás sobre os usos e abusos  da avaliação  educacional no Brasil, que está disponível em inglês. Transcrevo abaixo a nota da revista Ciência Hoje e uma tradução do texto introdutório da Declaração de São Francisco (DORA),

Publicar ou perecer

A ideia de que cientistas e pesquisadores precisam ser avaliados por sua produtividade, e que essa produtividade se expressa em produtos tangíveis – artigos, patentes e outros – é correta. Não há dúvida de que ela coloca os pesquisadores sob tensão, mas isso é parte da vida. Não há nada de errado no ‘produtivismo’ – se esses profissionais querem ser financiados e sustentados pelo seu trabalho, não há de ser pelos seus belos olhos ou boas intenções. Eles precisam mostrar o que fazem.

Existem, no entanto, alguns riscos importantes que surgem sem•pre que se busca colocar essa ideia na prática. O primeiro é quando se toma uma tendência geral – uma correlação – como válida e aplicável a situações individuais. Dados mostram que os melhores pesquisadores publicam muito e são muito citados, mas podem existir aqueles com muitas publicações desinteressantes, e outros com poucas publicações e trabalhos, mas de grande impacto. A única maneira de lidar com isso é entender que o dado estatístico, o indicador, é apenas um dado, que precisa ser interpretado caso a caso pelos pares. Quando pesquisadores ou departamentos de pesquisa são avaliados exclusivamente por seus indicadores, muitas vezes por pessoas ou instituições que nem sequer entendem do conteúdo dos trabalhos, a chance de erros é muito grande.

O segundo problema, bastante geral nas avaliações, é quando o indicador passa a ser mais importante do que aquilo que ele deveria indicar. Se o que importa é o número de publicações e citações, e não o que está sendo publicado ou citado, isso abre a porta para manipular os indicadores – dividir um artigo em três; dar preferência a projetos de curto prazo, em detrimento de projetos de duração mais longa; aprender como escrever para agradar os editores das revistas, sem correr riscos; e combinar com os amigos citações cruzadas – eu cito você, você me cita, e nós dois subimos nos rankings.

O terceiro problema é o chamado ‘efeito Mateus’, descrito pelo sociólogo estadunidense Robert Merton (1910-2003) anos atrás para descrever a concentração da pesquisa nos principais centros e ao redor dos nomes mais famosos (“ao que tem, se lhe dará e terá em abundância, mas ao que não tem será tirado até mesmo o que tem” – Mateus 13:2). Como os que mais têm trabalham e publicam em inglês nas revistas mais famosas dos países centrais, então mais vale colocar um artigo mais bem comportado junto a esses do que publicar um artigo mais brilhante e criativo em uma revista que ninguém importante vai ler ou comentar.

Existem outros riscos, como os de valorizar mais as publicações acadêmicas do que os trabalhos aplicados, e a pesquisa pública em detrimento da pesquisa industrial, ou supor que áreas de estudo e pesquisa como as ciências sociais, as humanidades e as engenharias deveriam ter o mesmo padrão de publicações do que as ciências naturais.

Nada disso significa que os indicadores de produtividade não sejam importantes, mas sim que eles não podem ser aplicados de forma burocrática e automática. Em última análise, indicadores de publicações e citações não são dados ‘objetivos’, mas agregações das avaliações subjetivas feitas pelos editores das revistas e pelos leitores dos artigos. Essa subjetividade não pode ser ignorada, mas precisa ser ponderada pelo juízo crítico dos pares que têm a responsabilidade de decidir sobre a qualidade e o futuro profissional de seus colegas em cada caso. É como um médico que precisa usar de sua experiência e do conhecimento do paciente para avaliar o resultado de um exame de laboratório; uma responsabilidade que não pode ser transferida a indicadores de nenhum tipo, por melhores que sejam.

Declaração de São Francisco (introdução)

Os produtos da pesquisa científica são muitos e variados, e incluem artigos de pesquisa relatando novos conhecimentos, dados , reagentes e software; propriedade intelectual; e jovens cientistas altamente treinados. Agências de fomento, instituições que empregam cientistas e próprios cientistas, todos têm desejo e necessidade de avaliar a qualidade e o impacto de produtos científicos. É, portanto, imperativo que a produção científica seja medida com precisão e avaliada com cuidado. O Fator de Impacto de Periódicos é frequentemente utilizado como o principal parâmetro com o qual se compara a produção científica de indivíduos e instituições. O fator de impacto, calculado pela Thomson Reuters, foi originalmente criado como uma ferramenta para ajudar os bibliotecários a identificar revistas para comprar, e não como uma medida da qualidade científica da pesquisa em um artigo. Com isso em mente, é fundamental entender que o fator de impacto tem  inúmeras deficiências bem documentadas que afetam seu uso como ferramenta para a avaliação da pesquisa. Estes limitações incluem: A)  as distribuições de citações dentro das revistas são altamente enviesadas; B) a propriedades do fator de impacto são específicas de cada campo, sendo compostos de diferentes tipos de artigos, incluindo trabalhos de pesquisa originais e resenhas da literatura; C) Os fatores de impacto podem ser manipulados (“gamed”) pelas práticas editoriais das revistas; e D) dados utilizados para calcular os fatores de impacto não são transparentes nem abertamente disponíveis para o público.

Varias recomendações são apresentadas para melhorar a maneira pela qual os resultados da pesquisa devem ser avaliados. Outros produtos além de artigos de pesquisa terão importância cada vez maior para a avaliação da eficácia da pesquisa no futuro, mas os artigos de pesquisa avaliados por pares continuarão sendo centrais nestas avaliações. Nossas recomendações, portanto, se referem principalmente às práticas relacionadas aos artigos de pesquisa publicados em revistas com revisão por pares, mas podem e devem ser ampliadas para reconhecer a importância de produtos adicionais tais como bancos de dados. Estes recomendações são destinadas a agências de fomento, instituições acadêmicas, revistas, organizações que fornecem métricas e pesquisadores individuais.

Alguns temas centrais permeiam todas estas recomendações:

- A necessidade de eliminar o uso de métricas baseadas em revistas, como o fator de impacto, em decisões de financiamento,  nomeação e promoção;
- A necessidade de avaliar a pesquisa em seus próprios méritos e não em função do revista em que a pesquisa foi publicada, e
- a necessidade de aproveitar as oportunidades oferecidas pela publicação on-line (inclusive ao reduzir os limites desnecessários sobre o número de palavras, ilustrações e referências nos artigos, e explorar novos indicadores de importância e impacto).

Reconhecemos que muitas agências de fomento, instituições, editores e pesquisadores já estão incentivando melhores práticas de avaliação da pesquisa. Tais medidas estão começando a aumentar o impulso em prol de abordagens mais sofisticadas e significativas que agora podem ser ser desenvolvidas e adotadas por todos os setores interessados.

making-brazil-workNo dia 18 de dezembro de 2013 participei de uma mesa redonda na Fundação Getúlio Vargas de lançamento do livro de Marcus André Melo & Carlos Pereira, Making the Brazil Work – Checking the President in a Multiparty System Palgrave MacMillan, 2013.. É um livro extremamente rico, que analisa o sistema político brasileiro em seus diferentes aspectos – a presidência, a política de coalizões, o funcionamento dos estados, o papel do judiciário e das agências de regulação – fazendo uso de muitas evidências e comparando o Brasil com outros países, sobretudo da América Latina. Transcrevo abaixo os comentários que fiz.

Fazendo o Brazil Funcionar

Com altos e baixos, a democracia brasileira tem funcionado sem interrupção desde 1985, contrariando algumas previsões mais sombrias de que nosso sistema político, denominado “Presidencialismo Multi-Partidário”, ou, na formulação de Sérgio Abranches, “Presidencialismo de Coalizão”, seria disfuncional e correria sérios riscos de ingovernabilidade e instabilidade. Sem deixar de reconhecer os problemas existentes, os autores argumentam que, na verdade, este sistema tem sido um grande sucesso e veio para ficar, graças à combinação de três fatores: uma presidência forte; a existência de “moeda política” – cargos, recursos orçamentários e decisões de política pública – que possam ser utilizados para manter a coalização parlamentar em linha; e um conjunto de controles externos que incluem o judiciário independente, o Tribunal de Contas, o Ministério Público, a imprensa livre, e outros. Com isto, a democracia brasileira, nos dizer dos autores, atingiu a maturidade, “has come to age”. Este “sucesso inesperado” não teria ocorrido somente no Brasil, mas também em outros países, começando pelo Chile, aonde um arranjo semelhante também existiria.

Todo livro é, direta ou indiretamente, um diálogo com outros, e, no caso, dois ou três tipos de interlocutores podem ser identificados. O primeiro são aqueles que argumentam que o sistema representativo é inerentemente perverso, e que deveria ser substituído por formas diretas de democracia. Este argumento não tem muita ressonância entre especialistas, mas é bastante popular em muitos setores da opinião pública, da juventude e dos movimentos sociais. Aqui, vale lembrar a famosa frase de Winston Churchill nos anos 40, de que a democracia é a pior forma de governo, exceto todas as outras que já foram tentadas. Marcus Melo e e Carlos Pereira vão além de Churchill, no entanto, ao argumentar que nossa democracia, na verdade, funciona bastante bem.

O segundo grupo de interlocutores são os que, como Juan Linz, Fernando Henrique Cardoso e Bolivar Lamounier, defenderam a ideia de que nosso tradicional presidencialismo deveria ser substituído com vantagens por um sistema político parlamentarista, acompanhado de uma reforma do sistema partidário. Com a vitória do presidencialismo no plebiscito em 1993, a tese do parlamentarismo ficou de lado, o que não impede que muitos continuem apontando para os problemas de nosso presidencialismo e nosso sistema partidário e insistindo na necessidade de torná-los mais funcionais e mais representativos da sociedade. Contra estes os autores dizem que, claro, todo sistema político tem seus problemas, mas nosso presidencialismo funciona bastante bem, e não precisa de maiores reformas.

Eu concordo plenamente com os autores quanto à importância da democracia representativa, não somente como imperativo ético, mas também porque os sistemas políticos abertos e competitivos têm maior capacidade de administrar contradições e conflitos e abrir espaço para iniciativas e inovações do que os sistemas autoritários, sobretudo em países grandes e complexos como o Brasil, por mais eficientes que estes possam ser no curto prazo. Isto é mostrado com muita clareza por Bolivar Lamounier em seu livro  Da Independência à Lula: Dois Séculos de Política Brasileira (Augurium, 2005) em que argumenta que foram muito poucos os períodos de regime fechado na história brasileira, e estes períodos foram muito mais instáveis do que as diferentes democracias que experimentamos, da monarquia parlamentarista à República Velha, passando pela Segunda República do pós-guerra e agora pela democracia aberta que já começou a existir antes mesmo que o regime militar acabasse.

Aonde eu concordo menos é na resposta ao dilema que eles colocam ao final do livro entre ver o copo como meio cheio ou meio vazio. Ao colocar ênfase no lado meio cheio, eles deixam de examinar o período do governo Sarney e a desastrosa eleição de Fernando Collor/Itamar Franco, e focalizam a atenção sobretudo nos governos de Fernando Henrique Cardoso e Lula, que podem ser considerados excepcionais em dois sentidos importantes. No primeiro caso, a legitimidade eleitoral obtida por Fernando Henrique Cardoso com o Plano Real, que lhe permitiu governar por alguns anos com uma equipe técnica altamente qualificada, organizando a economia do país (legitimidade eleitoral que não faltou a Collor no início, mas que não lhe serviu de nada). No segundo caso, os benefícios de uma conjuntura econômica internacional extremamente favorável que permitiu ao governo Lula fazer amplo uso das “moedas políticas” da distribuição de cargos e favores para garantir tanto o apoio parlamentar de que necessitava quanto a aprovação da opinião pública. Esta condição excepcional deixou de existir ao final do segundo mandato de Fernando Henrique Cardoso, e tudo indica que sua ausência está afetando também de maneira profunda o governo de Dilma Rousseff.

O fato de nosso presidencialismo ter funcionado razoavelmente bem nestes períodos excepcionais, e ter pelo menos sobrevivido ao descontrole do governo Sarney e à corrupção extrema do governo Collor, e ainda o fato de que a democracia brasileira funcione melhor do que a da Argentina, Venezuela ou do Equador (mas não, me parece, que a do Chile) não me parece suficiente para que nos acomodemos achando que tudo está bem. É necessário ter um standard de referencia mais alto. Nosso sistema de representação proporcional é extremamente problemático, fazendo com que os eleitores não saibam em quem votaram e os parlamentares só representem os grupos de interesse que os financiam diretamente. Pelo estatuto das medidas provisórias, o parlamento abdica de seu direito de legislar, em troca das “moedas políticas” que recebe do executivo para lhe prestar apoio.

Não há dúvida de que a barganha funcionou bem durante muito tempo, mas o governo Dilma tem enfrentando um parlamento cada vez mais rebelde, não no esforço de reafirmar sua responsabilidade legislativa, mas de aumentar cada vez mais as “moedas” que recebe (inclusive buscando tornar impositivas as emendas parlamentares), que se tornam cada vez mais escassas com o recesso econômico e o esgotamento da capacidade do governo de aumentar impostos e gastos. No impasse político que vai se gestando, a capacidade de ação o governo se reduz, e não faltam vozes no partido do governo propugnando bandeiras populistas que incluem desde a tentativa de controlar a imprensa até ao esforço por desmoralizar o judiciário, passando por políticas econômicas de curto prazo que continuam favorecendo a distribuição de benefícios em detrimento de uma racionalidade econômica de médio e longo prazo, dificultada ainda mais pelo calendário eleitoral que, a cada dois anos, paralisa o país. Creio que concordamos todos que estas vozes dificilmente vão prevalecer, pela própria complexidade da sociedade brasileira e de suas instituições. Mas nossa democracia não está imune a outros Collor e Sarneys, sem falar nos fantasmas de Kirshner e Chaves, e isto deveria nos preocupar.

 

 

 

Escreve Francisco Soares:

Uma contribuição ao debate

Nos últimos dias tenho trocado algumas mensagens sobre a amostra do PISA.  Ontem baixei os micro-dados do PISA e, depois de uma proveitosa troca de emails com o Ruben Klein, gostaria de colocar as seguintes informações à disposição de todos como contribuição ao debate.

  1. Embora os documentos do PISA digam que o exame é para alunos de quinze anos, o critério para inclusão é ter nascido em um dado ano. Para o PISA de 2012 o critério foi ter nascido em 1996. Em outras palavras, a população alvo são os alunos que completaram quinze anos em algum dia do ano de 1996.
  2. Como o teste no Brasil ocorreu entre 20 e 30 de maio de 2012, os alunos brasileiros que satisfazem o critério tem entre 16 anos e cinco meses – os que nasceram em 01/01/1996 – e 15 anos e 5 meses – os que nasceram em 31/12/1996.
  3. Usando os dados do Censo Escolar de 2011 busquei saber em que séries – ou anos escolares – estão os alunos que satisfazem aquele critério de idade. Encontrei os seguintes resultados:

 

 

ANO ESCOLAR

% ALUNOS Censo 2011

-1

Ensino Médio – 1° Ano

27,6

0

Ensino Médio – 2° Ano

31,3

1

Ensino Médio – 3° Ano

2,1

-2

Último Ano Fundamental

12,6

-3

Penúltimo Ano Fundamental

7,4

Outras Séries

18,8

 

Importante observar que estes são os alunos matriculados e, portanto, cujos dados estão disponíveis. No Brasil, há naturalmente alunos dessa faixa etária fora da escola.

  1. Aceitando o critério do PISA que  exclui os alunos que estão em séries diferentes das cinco da tabela anteriror e redistribuindo os restantes obtemos a seguinte distribuição entre os anos escolares:

 

ANO ESCOLAR

Censo 2011

PISA – Grade

-1

Ensino Médio – 1° Ano

34,1%

35,1

0

Ensino Médio – 2° Ano

38,6%

38,3

1

Ensino Médio – 3° Ano

2,6%

3,8

-2

Último Ano Fundamental

15,5%

14,1

-3

Penúltimo Ano Fundamental

9,2%

8,7

 

A coluna denominada PISA – GRADE foi construída com a variável que está na base do PISA e que informa em que ano-escolar a partir do ano modal estão os diferentes alunos.  Nota-se uma concordância entre as duas fontes.

  1. Diante disso os eventuais problemas que a amostra do PISA tem não se referem à distribuição entre os anos-escolares. Eu fui induzido a pensar de forma diferente até aqui pela insistência de todos os materiais de divulgação  que sugerem   que o PISA trata com alunos de quinze anos.  Na realidade seria mais coreto dizer que esse  exame considera alunos  16 anos.  Esta mudança torna os resultados obtidos completamente compreensíveis. A média de idades dos alunos brasileiros na amostra é parecida com as médias dos demais países.
  2. Pessoalmente eu gostaria de saber qual foi o desempenho no ENEM dos alunos das escolas escolhidas para compor a amostra do PISA de forma a poder avaliar se os alunos que satisfazem o critério de idade estão distribuídos em escolas que cobrem  toda a diversidade  escolar brasileira.
  3. Se meus cálculos resistirem ao escrutínio, entendo que há ainda um tema que precisa ser esclarecido: a comparabilidade entre os resultados de 2000 – 2006 com os resultados de 2009-2011 que estão sendo usados para dizer que o Brasil é o que mais melhorou.

 

Escreve Ilona Ferrão de Souza:

Em 2009 o assunto (da amostra do Brasil no PISA)  já foi bem discutido, mas não publicamente. Agora em 2012 está tão óbvio que há uma questão com o universo de alunos “desirable” para o Brasil, que há menção a isso no relatório (Anexo A7), inclusive com recálculo incluindo as escolas rurais multisseriadas. Assim, como já estava usando os dados de 2009 para comparar grupos de países, fiz o mesmo gráfico com os dados de 2011. O único país do grupo selecionado que mudou foi o Brasil e não mudou pouco.
Será que a contabilidade criativa chegou ao Pisa? Com a anuência de quem?
Seguem os gráficos, os países estão ordenados pela proporção de alunos no décimo ano:
ilona1
ilona2