Pesquisa e Pós-Graduação no Brasil: duas faces da mesma moeda?

A revista Estudos Avançados, do Instituto de Estudos Avançados da Universidade de São Paulo, acaba de publicar meu texto com o título acima, disponível neste link.

O artigo faz um retrospecto do desenvolvimento da pesquisa e da pós-graduação no Brasil, fazendo uso de dados de diversas fontes, e conclui que, ao desenvolver um sistema de ensino e pós-graduação como se fossem dois lados da mesma moeda, o Brasil acabou criando um sistema de pós-graduação estricto sensu demasiado acadêmico, e um sistema de pesquisa mais tolerante à baixa qualidade do que seria desejável. É um sistema concentrado em universidades públicas, muito mais voltado à produção de credenciais para o sistema educacional do que de inovações e profissionais qualificados para o mercado de trabalho mais amplo. Ao mesmo tempo, se criou no país um mercado não regulado de cursos de especialização e MBA, visível nas pesquisas domiciliares, que o Ministério da Educação não registra em suas estatísticas. O sistema de pós-graduação regulado é altamente subsidiado, com cursos gratuitos e bolsas de estudo que beneficiam cerca de metade dos alunos, embora, em termos comparativos, eles tenham níveis de renda familiar e expectativas de rendas futuras bem superiores aos das pessoas com títulos universitários de graduação. Seria recomendável aproximar os programas de mestrado regulados do padrão dos mestrados em outros países, dedicados sobretudo à qualificação profissional, e concentrar os recursos de bolsa de estudos e financiamento de pesquisas nos centros e programas promissores e de excelência, utilizando critérios de qualidade e relevância mais estritos dos que têm predominado até aqui.

Ensino online pode ser bom, mas não substitui o presencial

(um resumo desta análise foi publicado em O Estado de São Paulo, 19 de fevereiro de 2022)

As informações iniciais do Censo da Educação Superior de 2020, divulgadas hoje pelo INEP, mostram que, pela primeira vez, o número de estudantes ingressantes na educação à distância superou o de ingressantes em cursos presenciais, por causa, sobretudo, do aumento de matrículas à distância no setor público, onde antes praticamente não existiam. 

Claro que o aumento da educação à distância foi acentuado pela pandemia, mas é uma tendência que já vinha se acentuando. Para entender o que está ocorrendo, é importante observar que os estudantes dos cursos à distância, com a idade média de 32 anos, são muito diferentes dos estudantes de cursos presenciais, que têm em média 25 anos, pelos dados do Censo da Educação superior de 2019.  O estudante típico da educação presencial é jovem, recém-saído da educação média, e não precisa trabalhar para se sustentar. Com recursos da família, passou por uma boa escola de ensino médio que permitiu que entrasse em uma instituição pública através do ENEM ou da Fuvest, ou que pague um curso presencial em uma instituição privada diferenciada.  O estudante da educação à distância terminou o ensino médio anos atrás em uma escola pública, precisa trabalhar para se sustentar, e possivelmente não conseguiu uma boa qualificação no ENEM ou na Fuvest, se é que tentou.

Até a crise de 2015, estes estudantes mais velhos normalmente entravam nos cursos noturnos das instituições privadas, com bolsas do Prouni, uma pequena parte, e sobretudo com o financiamento estudantil proporcionado pelo governo federal, que acabava muitas vezes não pagando. Quando o FIES começou a encolher, as grandes empresas de ensino do setor privado começaram a transferir os estudantes dos cursos noturnos para cursos à distância, com vantagens para ambas as partes. Com a educação à distância, o custo por aluno cai muito significativamente, porque poucos professores podem atender a muitos alunos com aulas padronizadas que são distribuídas por meios eletrônicos, o que dispensa a manutenção de salas de aula e outras instalações dispendiosas. Para os alunos, os baixos custos tornam os cursos acessíveis, e a educação à distância, quando é bem dada, pode ser melhor do que os antigos cursos noturnos, em que alunos e professores chegavam às salas de aula cansados e sem motivação.

A educação à distância existe há décadas e não é necessariamente de má qualidade, como atesta a experiência famosa da Open University inglesa, e tem sido adotada também em muitos outros países, como na África do Sul, onde a tradicional Unisa (University of South Africa) atende a cerca de um terço a da matrícula educação superior daquele país.  A economia de escala permite que as instituições de ensino à distância produzam materiais de qualidade e desenvolvam sistemas sofisticados de distribuição, acompanhamento e avaliação de resultados que não estão ao alcance de instituições menores e dos cursos noturnos tradicionais. Um problema conhecido da educação à distância é o grande número de estudantes que abandonam os cursos antes de terminar, mas isto 0corre também na educação presencial, onde as taxas de abandono podem ser da ordem de 50%.

Mas a educação à distância não é um substituto para a educação presencial. A vivência da vida universitária, a convivência com os colegas, a proximidade com os professores, o tempo passado nas bibliotecas e áreas de lazer, o conhecimento tácito que não está nos livros nem nos computadores e se adquire no contato pessoal, as redes de relacionamento que se criam e se mantém pela vida, pouco disto pode ser reproduzido à distância.  Para os jovens, a educação presencial, enriquecida com as modalidades híbridas e outros recursos proporcionados pelas novas tecnologias, é indispensável. Para os mais velhos, uma educação à distância de qualidade, sobretudo se mais orientada para cursos mais curtos e práticos, e não para os bacharelados e licenciaturas tradicionais, pode ser uma boa opção.

O outro dado que chama a atenção é que as matrículas no setor privado chegaram em 2020 a 86% do total, o que não é muito diferente de 2019. Hoje,75% de toda a matrícula do ensino superior brasileiro é privada, e os dados das matrículas novas mostra que esta proporção tende a aumentar. O ensino superior público brasileiro não conseguiu se expandir nem se adaptar à demanda crescente por educação da população mais velha que não desfrutou das vantagens da educação superior na juventude, e hoje, bem ou mal, só encontra espaço no ensino superior privado para se qualificar.  

Não se trata, pois, de lamentar da expansão da educação à distância nem do crescimento do setor privado, mas de entender mais profundamente que tipos e modalidades de educação são mais apropriados para diferentes segmentos do público e diferentes tipos de instituição, investir onde necessário, e deixar claras as alternativas para os estudantes que as procuram.

Pesquisa e pós-graduação para os novos tempos

(publicado em O Estado de São Paulo, 11 de fevereiro de 2022)

A partir de 2023, se tivermos um governo minimamente razoável, vai ser necessário recuperar e recompor o sistema federal de pós-graduação e pesquisa, hoje tão dilapidado. O primeiro passo é reconhecer que, desde que foi criado nas décadas de 1960 e 1970, ao lado de suas virtudes, este sistema vem acumulando uma série de deformações que precisam ser enfrentadas. O segundo é colocar à frente das principais agências – Ministério de Ciência e Tecnologia, CAPES, CNPq, FINEP – lideranças que entendam o que deve ser feito e tenham a necessária reputação e legitimidade entre seus pares para convocá-los para este trabalho. O terceiro é recompor os orçamentos destas instituições, pelo menos nos níveis de dez anos atrás.

Que deformações são essas? Meio século atrás, o número de instituições de pesquisa no país podia ser contado nos dedos, e o número de pesquisadores, em algumas centenas. Poucas pessoas chegavam à educação superior, e não existiam cursos de pós-graduação. A reforma universitária de 1968 procurou trazer a pesquisa para as universidades federais, criando cursos de pós-graduação e exigindo que os professores tivessem títulos de doutor e contratos de tempo integral. Nos anos 70 a FINEP, com recursos dos Planos Nacionais de Desenvolvimento Científico e Tecnológico, começou a criar centros de pesquisa e, junto com a CAPES e o CNPq, a dar bolsas para quem quisesse e tivesse condições de fazer cursos de pós-graduação no Brasil e no exterior.  Fazia sentido.

Hoje, dependendo de como se conta, temos cerca de 200 mil pesquisadores e mais de 6 mil cursos de pós-graduação regulados pela CAPES, com 140 mil estudantes de doutorado e 200 mil de mestrado.  Além disto, existem cerca de um milhão de estudantes em cursos de pós-graduação “lato sensu”, pouco ou nada regulados, como os MBAs e cursos de especialização. O IBGE registra a existência de 477 mil doutores no país, um quarto dos quais vinculados  aos programas de pós-graduação das universidades. 

Fazer pós-graduação pode significar coisas muito diferentes para diferentes pessoas. Para muitos, é uma maneira de garantir um bom lugar no mercado de trabalho, como profissional especializado. Para outros, é uma maneira de obter um título para subir na carreira universitária, sobretudo em universidades públicas. E para outros, uma minoria, é uma porta de entrada para uma carreira de pesquisador, seja em universidades ou em institutos públicos e privados.  Não são coisas excludentes, é possível ter os três objetivos ao mesmo tempo, mas na prática nem todos que se especializam ensinam, e nem todos que se especializam e ensinam fazem pesquisa. 

Se ser estudante de nível superior no Brasil é um privilégio, ser estudante de pós-graduação é um privilégio maior ainda. A renda familiar per-capita dos estudantes nível médio em 2021 era de 960 reais; dos estudantes de nível superior, 1.800 reais; e dos estudantes de pós-graduação, mais de 4 mil reais. Entre os que só ficam no nível superior depois de formados, a renda média chega a 2.900; para quem tem especialização, a 4.700; e para quem tem mestrado e doutorado, entre 6.500 e 8 mil reais por mês. Considerando estes números, o tamanho que o sistema de pós-graduação e pesquisa atingiu, e os diferentes objetivos das pessoas que entram neste sistema, será que a ideia de que todos precisam ser igualmente subsidiados ainda se justifica?

Claramente não. Com tanta gente, mesmo na melhor das condições, não haverá recursos para financiar bem a pesquisa e a pós-graduação de excelência. Uma bolsa de doutorado da CAPES ou CNPq hoje é de cerca de 2 mil reais, um terço da renda per capita familiar média dos estudantes, insuficiente para que alguém se sustente em uma grande cidade. A pesquisa científica de excelência no Brasil é concentrada em poucas universidades e departamentos, mas todos os professores do sistema federal, pesquisem ou não, ganham a mesma coisa, o que significa que ganham relativamente mal. Faria mais sentido que os profissionais bem-sucedidos que fazem mestrados e doutorados para subir no mercado de trabalho pagassem seus cursos, como já fazem com as especializações. As universidades deveriam ter carreiras separadas para professores pesquisadores de tempo integral e professores que se dedicam ao ensino, com contratos de tempo parcial e sem que sejam obrigados a passar por doutorados de pesquisa que não são de seu interesse; e alunos de doutorado poderiam trabalhar como auxiliares de ensino ou pesquisa enquanto estudam. Com isto haveria recursos para que os investimentos em pesquisa sejam substancialmente aumentados e concentrados nas pessoas e programas mais promissores, de melhor qualidade e que realmente necessitem.

São mudanças profundas que afetam a regulação e o financiamento do setor, e não esgotam a agenda, que precisa ainda incluir os temas da relevância, da eficiência, da internacionalização e da superação das barreiras que ainda separam a pesquisa da pesquisa pública e empresarial.  Mas seria um bom recomeço.

Ainda sobre a idade dos doutorados

Por que os doutores no Brasil se formam muito mais velhos do que nos Estados Unidos? Como mostrei em uma postagem anterior, nos Estados Unidos, 45% dos doutores se formam com menos de 30 anos, e têm uma longa vida profissional pela frente. No Brasil, são somente 10%. No outro extremo, 18% dos doutores brasileiros adquirem seus títulos com mais de 45 anos, quando já terão menos tempo de vida profissional; nos Estados Unidos, são somente 7%.

Para entender melhor o que está acontecendo, comparamos as idades de titulação no Brasil por grandes áreas de conhecimento e pelos conceitos da CAPES. O que observamos é que os doutores nas ciências naturais se formam muito mais cedo do que nas ciências sociais e humanas, e que os doutores dos cursos de conceitos mais altos se formam também mais jovens.

Será que existe algo nas ciências sociais e humanas que explica as diferenças, ou é uma diferença de qualidade, estes cursos são piores, e por isto atrasam o doutoramento de seus alunos? Comparando as duas tabelas, vemos que as as áreas de conhecimento explicam 18,1% da variação, e os conceitos da CAPES, 13,1%. Então, não é só uma questão de qualidade (supondo que os conceitos da CAPES são equivalentes entre as áreas de conhecimento, o que não é garantido). E não é verdade que os doutorados das ciências sociais e humanas levam mais tempo. Em todas as áreas de conhecimento, são 50 meses em média entre a matrícula e a titulação, com muito pouca variação. Quatro anos é o tempo normal para um doutorado, o que invalida a ideia de que os doutorados se prologam porque as bolsas são pequenas e os estudantes precisam trabalhar. Eles não se prolongam, os estudantes é que entram nos cursos mais velhos.

Existem outras possíveis explicações que os dados disponíveis, infelizmente, não permitem verificar. Uma é que os doutorados tardios ocorrem entre pessoas já empregadas, para os quais o doutorado interessa sobretudo pela titulação, e não para iniciar uma carreira de pesquisas, e isto seria predominante nas ciências sociais e humanas. Outra é que os doutorados se retardam pela exigência que ainda é comum, no Brasil, de que os alunos completem primeiro os mestrados, o que pode levar dois ou mais anos. A outra ainda é que a distribuição de idade dos doutorandos no Brasil seja semelhante à dos países europeus, e que os Estados Unidos sejam anômalos em relação a isto.

Seja como for, parece óbvio que, do ponto de vista das políticas públicas, deve haver um esforço para que as pessoas façam e terminem seus doutorados ainda jovens, para que possam começar suas carreiras com alta qualificação e possam ter uma longa e produtiva vida profissional.

A idade dos doutores no Brasil e USA

Na postagem anterior eu fiz uma comparação entre a distribuição das idades de formatura dos doutores nos Estados Unidos, obtida no site Statista, com a idade dos alunos de doutorado no Brasil, usando para estes a informação obtida pela Pesquisa Nacional por Amostra Domiciliar Continua do IBGE (PNAD). O que se viu é que no Brasil as pessoas tendem a fazer o doutorado muito tarde, e não, como nos Estados Unidos, no início de suas carreiras.

Havia no entanto dois problemas com esta comparação. O primeiro é que o número de alunos de doutorado que aparecem na amostra do IBGE é muito pequeno – 190, em uma amostra de 320 mil, o que significa que a margem de erro é muito grande. O segundo é que não é possível separar os que estão estudando dos que estão se formando.

Por sorte, os dados da Plataforma Sucupira da CAPES para 2020 têm esta informação detalhada, e refiz a tabela trocando os dados da PNAD por estes. No novo gráfico, a proporção de pessoas mais velhas nos doutorados brasileiros é menor, mas a tendência geral é a mesma. Já fiz a correção na postagem anterior, e reproduzo o texto revisto aqui:

“A comparação da distribuição de idades entre os titulados nos Estados Unidos e no Brasil, pela informaçã0 da CAPES, no gráfico acima, mostra com clareza a situação. Nos Estados Unidos, 44,7% dos doutores se formam com menos de 30 anos, e, no Brasil, 27,8%. Na outra ponta, nos Estados Unidos 12% dos doutorandos têm 40 anos ou mais, e no Brasil, 30,4%”.

Reconectando com a diáspora

O tema do novo número da Revista de Educación Superior em América Latina, disponível na Internet, é o da necessidade de os países da região se reconectarem com os cientistas que ajudaram a formar e que hoje vivem nos Estados Unidos e outros países desenvolvidos. É um problema antigo que se repete em muitas partes: os países oferecem educação superior gratuita para seus melhores estudantes, dão bolsas de estudo para que completem seus doutorados no exterior, e eles não voltam.

Na década de 70 coordenei a parte brasileira de um estudo internacional sobre o tema, e o que constatamos foi que, apesar do clima de repressão política que havia no país, e de inúmeros cientistas que tiveram que se exilar naqueles anos, os brasileiros que iam estudar exterior, ao contrário do que ocorria por exemplo na Argentina, em geral voltavam. A explicação era simples: o sistema universitário e de pesquisa brasileiro estava começando a se expandir, e bons empregos não faltavam para quem voltasse e não estivesse na mira da polícia política.

Esta situação continuou até a década de 2010, quando começou a se inverter. Hoje, basta conversar com qualquer jovem em idade universitária para ver quantos gostariam ou estão ativamente empenhados em ir estudar ou trabalhar exterior, sem perspectivas de volta. É uma consequência direta da estagnação econômica e da crise política que se instalou em meados da década passada e parece não ter fim, mas também da maneira pela qual nosso sistema de pós-graduação e pesquisa evoluiu.

No passado, jovens talentosos não tinham dificuldade em conseguir uma bolsa de doutorado para o exterior, e muitas vezes já saiam empregados, mantendo os salários e ocupando logo posições de liderança quando voltavam. Mas hoje, as universidades públicas pararam de crescer, só contratam mediante concursos que nem sempre existem, e só para posições iniciais de carreira; e existem muito poucas posições de pesquisa no setor privado.

O Brasil continua formando muitos doutores, mas os doutorados são, em grande parte, um mecanismo de titulação para pessoas mais velhas já empregadas, e menos um sistema de formação e recrutamento de novos talentos. É muito difícil para um jovem doutor, formado no Brasil e no exterior, conseguir uma posição de trabalho atraente. Existem bolsas de fixação, mas elas raramente se transformam em empregos regulares. Em 2021, pela PNAD, havia 148 mil estudantes de doutorado no Brasil, com a idade média de 40 anos.  Destes, 46% eram funcionários públicos, e tinham a idade média de 42 anos (a idade média dos 30% que não trabalhavam era de 35 anos). São dados sujeitos a erro, porque baseados em uma amostra de 190 pessoas com este nível de educação. Mas os dados da CAPES de 2020, os mais recentes, obtidos diretamente das instituições, eram 145.360 – número bem próximo – dos quais 20.075 titulados naquele ano.

A comparação da distribuição de idades entre os titulados nos Estados Unidos e no Brasil, pela informaçã0 da CAPES, no gráfico acima, mostra com clareza a situação. Nos Estados Unidos, 44,7% dos doutores se formam com menos de 30 anos, e, no Brasil, 27,8%. Na outra ponta, nos Estados Unidos 12% dos doutorandos têm 40 anos ou mais, e no Brasil, 30,4%. Dado este quadro, a expectativa é que o Brasil passe a ter uma diáspora cada vez maior de técnicos e cientistas, tal como já ocorre com os demais países da América Latina.

No mundo, China e Índia são, de longe, os países com as maiores diásporas de técnicos e cientistas, e são também exemplos dos benefícios que podem advir de um esforço ativo de reconectar os países com suas diásporas. Os que se foram não necessariamente voltam, mas podem atuar como fontes importantes de contatos, conhecimentos e parcerias com os que ficam. Foi assim que a Índia se transformou em uma grande potência na área de computação, e a China tem investido muito em se reconectar e, se possível, trazer de volta cientistas chineses formados no exterior.  Claro que, para isto, precisa haver, no país, condições políticas, econômicas e espaço institucional para que o trabalho técnico e científico se consolide e se expanda.

Nuestra America

(Publicado em O Estado de São Paulo, 14 de janeiro de 2022)

A eleição do jovem Gabriel Boric para a presidência traz a esperança de que o Chile talvez consiga escapar dos ciclos de populismo, autoritarismo, estagnação econômica e decadência institucional que está assolando a maioria dos países da América Latina.  

Desde o fim da ditatura de Pinochet, entre 1990 e 2010, o Chile foi governado pela Concertación, coalizão de partidos de centro esquerda que conseguiu combinar a abertura da economia com políticas sociais inteligentes, reduzindo a pobreza e a desigualdade, melhorando a qualidade da educação e desenvolvendo a economia como nenhum outro país da região. Isto não foi suficiente, no entanto, para evitar que o sentimento de frustração crescesse, fazendo com que o país alternasse entre governos de esquerda e direita – Michelle Bachelet e Sebastián Piñera – que culminou com as grandes manifestações de rua de 2019, a convocação de uma assembleia constituinte e a última eleição presidencial, em que candidatos independentes tomaram o lugar dos antigos partidos políticos. Borac promete canalizar de forma produtiva a insatisfação popular, em um governo de alianças que permita a retomada da trajetória de desenvolvimento, corrigindo distorções e reconhecendo as limitações econômicas e financeiras das quais não se pode escapar. Tomara.

A distância entre o que é possível e o que é desejável explica as explosões de insatisfação que alimentam os populismos de esquerda e direita que tornam as crises sociais e econômicas cada vez mais profundas, como estamos vendo também no Brasil. Podemos ver esta distância com toda clareza em dois livros recentes sobre famílias de imigrantes que vieram para a América Latina buscando o renascer de uma nova civilização, tendo depois que reconhecer as limitações de suas utopias.

Nuestra America, de Claudio Lomnitz, conta a história da família a partir do avô, Misha Adler, judeu que partiu da antiga Bessarábia para o Peru há um século, da mesma região e na mesma época em que meu avô veio para o Brasil. É uma história análoga à da família de Fausto Cabrera, espanhol que veio para Santo Domingo e depois Colômbia, escapando da guerra civil e do franquismo, tal como narrada por Juan Gabriel Vásquez [C. Lomnitz, Nuestra América: Utopía y persistencia de una familia judía: Fondo de Cultura Economica, 2019; J. G. Vásquez, Volver la vista atrás. Madrid: Penguin Random House Grupo Editorial, 2021]. 

Adler colaborou com o peruano José Carlos Mariátegui na tentativa de desenvolver na América Latina um socialismo de raízes indígenas e valor universal, foi expulso do Peru, se refugiou na Colômbia, e terminou indo para um kibutz em Israel depois da guerra na esperança de, finalmente, viver a pureza da vida simples e comunitária. Cabrera depositou suas esperanças no poder purificador que a revolução armada poderia trazer para o novo mundo, colocando seus filhos para se preparar, na China de Mao, para ingressar nas Forças Armadas Revolucionárias da Colômbia.

Esgotada a experiência do kibutz, os Adler foram para o Chile, e, depois de abandonar a guerrilha, o filho de Fausto Cabrera, Sérgio, se transformou em um importante cineasta colombiano. Ainda que de forma muito diferente, e mais trágica, o escritor judeu austríaco Stefan Zweig, que veio para o Brasil fugindo da guerra em 1940. escreveu Brasil, País do Futuro, uma terra paradisíaca em que uma nova civilização estava surgindo, mais simples do que a europeia, mas livre do trauma macabro do racismo e das guerras S. Zweig, Brasil, um país do futuro: L&PM, 2006 (1941)]. Não para ele, que se suicidou logo depois.

São histórias extraordinárias, escritas por autores de talento que tiveram acesso às fotografias, cartas, diários e testemunhos recolhidos por seus antepassados. Mas representativas dos milhões de anônimos que fizeram o mesmo percurso, da Europa para a América, e do interior para as cidades, em busca das promessas de uma nova vida livre da miséria, dos conflitos e da falta de perspectiva das terras onde nasceram. A grande maioria permaneceu anônima, trabalhando, organizando suas vidas e, sobretudo, investindo e acreditando no futuro de seus filhos. A vida era dura, e, mesmo para os que conseguiam se educar e conseguir um trabalho razoável, a distância entre o que obtinham e o que haviam sonhado era crescente. Outros se envolveram ou buscaram apoio em movimentos sociais, organizações comunitárias, partidos políticos, igrejas, e, quando havia eleições, davam seus votos aos políticos que apareciam e melhor expressavam suas esperanças ou ressentimentos.

Cem anos depois, o Brasil e nossa América Latina não são mais o país ou a região do futuro, mas de uma promessa que não se cumpriu. A crença, no passado, era que Deus estava de nosso lado, e o clima, a índole do povo e as promessas das grandes utopias garantiriam um futuro risonho. Hoje sabemos que, se houver um caminho, temos que construí-lo nós mesmos, superando as confrontações fraticidas, com governos realistas que trabalhem para o bem comum, e não vendam ilusões. Não é impossível, mas não há nenhuma garantia que dê certo.

Francisco Soares: Duas inovações na avaliação da educação básica

No fim do ano passado, o MEC introduziu duas inovações no seu ecossistema de avaliação da educação básica. Lançou um portal com testes de Leitura e Matemática para todos os anos do ensino fundamental e aplicou, em uma amostra de escolas, o Estudo Internacional de Progresso em Leitura (PIRLS), um teste de compreensão leitora adequado para os estudantes no quarto ano de escolarização.

Como argumentei recentemente, as recomendações da BNCC são muito genéricas e passíveis de diferentes interpretações. Assim as avaliações, ao concretizar os aprendizados pretendidos em tarefas, têm grande potencial de apoiar ou perturbar o ensino, já que os estudantes aprendem o que fazem. Esses dois novos instrumentos mostram como o MEC interpreta os comandos normativos da BNCC e, por isso, merecem ser conhecidos e analisados por todos os atores do debate educacional. Este texto pretende contribuir para esse debate com uma análise centrada em princípios e tecnologias da área de avaliação educacional, que deve ser complementada com a contribuição de outras visões pedagógicas e educacionais.

Em relação ao PIRLS, o MEC divulgou apenas a tradução do documento conceitual desse estudo, não o teste aplicado nos estudantes brasileiros. No entanto, muitos países, incluindo Portugal, já aderiram a essa avaliação, e há, portanto, muitos documentos que podem ser usados para conhecer seu escopo, metodologia e resultados.

O modelo conceitual do PIRLS estabelece que só através do uso de textos autênticos é possível gerar evidências sólidas sobre o desenvolvimento da compreensão leitora dos estudantes. Por isso, seu teste usa apenas dois textos, cada um, tipicamente, com mais de 400 palavras. O PIRLS considera que a compreensão leitora está desenvolvida apenas quando o estudante é capaz de mobilizar as várias habilidades necessárias para o entendimento do texto, as quais organiza em quatro categorias: Localizar e Recuperar informações explícitas, Fazer inferências diretas, Interpretar e integrar ideias e informações, Avaliar e Criticar. Para cada texto são formuladas em torno de 15 questões para verificar essas categorias. Algumas questões são de múltipla escolha, outras abertas, essas essenciais para se verificar o domínio de habilidades de maior complexidade cognitiva.

O PIRLS verifica não apenas o domínio de habilidades isoladas, mas também e principalmente seu uso concomitante para a construção do sentido do texto. Na realidade, a resposta a um item isolado não gera evidência de domínio de uma habilidade específica. Esse fato é comprovado ao se constatar que há itens que se referem à mesma habilidade, situados em pontos diferentes na escala. Finalmente, o PIRLS reconhece a importância de textos multimodais, cujo uso é cada vez mais frequente na internet e, portanto, devem estar no ensino e na avaliação da compreensão leitora.

Estas formulações são particularmente importantes para o debate sobre a reformulação do SAEB. Originalmente, ele preconizava o mesmo que é praticado pelo PIRLS. Com o passar do tempo, isso se perdeu. Hoje, os testes do SAEB e seus similares contêm itens cujo suporte são recortes de textos, não textos autênticos e, portanto, quase nunca representam situações de comunicação relevantes. O uso apenas de itens de múltipla escolha e a ênfase em habilidades específicas não permitem aos testes do SAEB gerar evidências adequadas sobre o desenvolvimento da competência leitora, já que a ideia de mobilização de aprendizados, essencial no conceito, não impacta adequadamente o planejamento do teste.

A segunda inovação foi a disponibilização de testes semelhantes aos do SAEB para todos os anos escolares, preparados para uso imediato pelas escolas e redes. Essa iniciativa facilita a prática, já bastante frequente, de uso dos testes de avaliações externas na rotina das escolas. Ela cria a possibilidade os itens e as respectivas respostas dos estudantes serem usados na preparação de devolutivas. Isso caracterizaria o uso formativo da avaliação externa, iniciativa muito necessária para torná-las mais relevantes pedagogicamente.

No entanto, as potencialidades positivas da iniciativa desaparecem quando se analisam as questões dos testes publicados. Detenho-me aqui apenas no teste do terceiro ano, que deve ser feito por estudantes de oito anos de idade, os quais, pelo Plano Nacional de Educação, deveriam estar alfabetizados. Assim, esse teste pode ser visto como a expressão operacional, na visão do MEC, do que sabe e do que não sabe fazer um estudante que completou o ciclo do “aprender a ler” e supostamente está pronto para iniciar a etapa do “ler para aprender”.

O teste analisado é constituído de 22 questões, cujo percentual de acertos será usado como medida do desempenho de cada estudante. As instruções de aplicação indicam que os enunciados de várias questões devem ser lidos pelo aplicador. Esse formato de aplicação é completamente inadequado para se verificar os aprendizados de estudantes que estão no fim do processo de alfabetização e devem, portanto, ler autonomamente. Sete das 22 questões verificam o desenvolvimento de habilidades de alfabetização, como as relações fonema/letra, em situações de irregulares ortográficas simples. Essas habilidades deveriam ter sido construídas nos anos anteriores e, portanto, não é razoável que um quarto da evidência coletada pelo teste do terceiro ano venha desse tipo de item.

Os textos incluídos no teste, na realidade recortes de textos, são muito pequenos e não permitem a formulação de questões de interpretação de texto. Por isso, muitas das questões que têm os textos como suporte no teste captam a capacidade de o estudante reconhecer o gênero discursivo e seus elementos constitutivos. Esse tipo de habilidade, embora uma expressão da competência leitora, informa pouco na ausência de questões de interpretação. A baixa complexidade das habilidades contempladas no teste pode ser verificada pelos verbos das habilidades associadas aos itens do teste: localizar, identificar e reconhecer, todos indicando processos cognitivos da ordem mais baixa. O teste não verifica as habilidades com demandas cognitivas mais altas e não inclui questões que verifiquem as habilidades de escrita, essenciais na alfabetização, que estavam presentes no teste da ANA, Avaliação Nacional da Alfabetização, o padrão de desempenho usado anteriormente.

Ou seja, esse teste não gera informações sólidas sobre a compreensão leitora dos estudantes ao fim do ciclo de alfabetização. Além disso, tem um nível de demanda muito baixo e, portanto, as escolas terão resultados altos que, em vez de indicarem excelência, apenas legitimarão um nível de domínio superficial e insuficiente da compreensão leitora. Isso é particularmente grave educacionalmente, pois crianças que não aprendem a ler até o final do terceiro ano do ensino fundamental tendem a ter dificuldade de leitura pelo resto de suas vidas e, provavelmente, terão dificuldades de desenvolver outros conhecimentos, todos dependentes de proficiência na compreensão leitora.

Em síntese, o MEC envia mensagens contraditórias com suas duas recentes iniciativas. Por um lado, coloca um padrão muito baixo de aprendizado ao fim de ciclo de alfabetização. Por outro, divulga a definição de compreensão leitora latente nos melhores modelos conceituais existentes. Não seria o caso de o MEC e construir um sistema para subsidiar as avaliações formativas nas escolas, através de plataforma com interface bem-feita, como a criada para os testes divulgados usando entretanto, o modelo conceitual do PIRLS?

Francisco Soares: Duas inovações na avaliação da educação básica

No fim do ano passado, o MEC introduziu duas inovações no seu ecossistema de avaliação da educação básica. Lançou um portal com testes de Leitura e Matemática para todos os anos do ensino fundamental e aplicou, em uma amostra de escolas, o Estudo Internacional de Progresso em Leitura (PIRLS), um teste de compreensão leitora adequado para os estudantes no quarto ano de escolarização.

Como argumentei recentemente, as recomendações da BNCC são muito genéricas e passíveis de diferentes interpretações. Assim as avaliações, ao concretizar os aprendizados pretendidos em tarefas, têm grande potencial de apoiar ou perturbar o ensino, já que os estudantes aprendem o que fazem. Esses dois novos instrumentos mostram como o MEC interpreta os comandos normativos da BNCC e, por isso, merecem ser conhecidos e analisados por todos os atores do debate educacional. Este texto pretende contribuir para esse debate com uma análise centrada em princípios e tecnologias da área de avaliação educacional, que deve ser complementada com a contribuição de outras visões pedagógicas e educacionais.

Em relação ao PIRLS, o MEC divulgou apenas a tradução do documento conceitual desse estudo, não o teste aplicado nos estudantes brasileiros. No entanto, muitos países, incluindo Portugal, já aderiram a essa avaliação, e há, portanto, muitos documentos que podem ser usados para conhecer seu escopo, metodologia e resultados.

O modelo conceitual do PIRLS estabelece que só através do uso de textos autênticos é possível gerar evidências sólidas sobre o desenvolvimento da compreensão leitora dos estudantes. Por isso, seu teste usa apenas dois textos, cada um, tipicamente, com mais de 400 palavras. O PIRLS considera que a compreensão leitora está desenvolvida apenas quando o estudante é capaz de mobilizar as várias habilidades necessárias para o entendimento do texto, as quais organiza em quatro categorias: Localizar e Recuperar informações explícitas, Fazer inferências diretas, Interpretar e integrar ideias e informações, Avaliar e Criticar. Para cada texto são formuladas em torno de 15 questões para verificar essas categorias. Algumas questões são de múltipla escolha, outras abertas, essas essenciais para se verificar o domínio de habilidades de maior complexidade cognitiva.

O PIRLS verifica não apenas o domínio de habilidades isoladas, mas também e principalmente seu uso concomitante para a construção do sentido do texto. Na realidade, a resposta a um item isolado não gera evidência de domínio de uma habilidade específica. Esse fato é comprovado ao se constatar que há itens que se referem à mesma habilidade, situados em pontos diferentes na escala. Finalmente, o PIRLS reconhece a importância de textos multimodais, cujo uso é cada vez mais frequente na internet e, portanto, devem estar no ensino e na avaliação da compreensão leitora.

Estas formulações são particularmente importantes para o debate sobre a reformulação do SAEB. Originalmente, ele preconizava o mesmo que é praticado pelo PIRLS. Com o passar do tempo, isso se perdeu. Hoje, os testes do SAEB e seus similares contêm itens cujo suporte são recortes de textos, não textos autênticos e, portanto, quase nunca representam situações de comunicação relevantes. O uso apenas de itens de múltipla escolha e a ênfase em habilidades específicas não permitem aos testes do SAEB gerar evidências adequadas sobre o desenvolvimento da competência leitora, já que a ideia de mobilização de aprendizados, essencial no conceito, não impacta adequadamente o planejamento do teste.

A segunda inovação foi a disponibilização de testes semelhantes aos do SAEB para todos os anos escolares, preparados para uso imediato pelas escolas e redes. Essa iniciativa facilita a prática, já bastante frequente, de uso dos testes de avaliações externas na rotina das escolas. Ela cria a possibilidade os itens e as respectivas respostas dos estudantes serem usados na preparação de devolutivas. Isso caracterizaria o uso formativo da avaliação externa, iniciativa muito necessária para torná-las mais relevantes pedagogicamente.

No entanto, as potencialidades positivas da iniciativa desaparecem quando se analisam as questões dos testes publicados. Detenho-me aqui apenas no teste do terceiro ano, que deve ser feito por estudantes de oito anos de idade, os quais, pelo Plano Nacional de Educação, deveriam estar alfabetizados. Assim, esse teste pode ser visto como a expressão operacional, na visão do MEC, do que sabe e do que não sabe fazer um estudante que completou o ciclo do “aprender a ler” e supostamente está pronto para iniciar a etapa do “ler para aprender”.

O teste analisado é constituído de 22 questões, cujo percentual de acertos será usado como medida do desempenho de cada estudante. As instruções de aplicação indicam que os enunciados de várias questões devem ser lidos pelo aplicador. Esse formato de aplicação é completamente inadequado para se verificar os aprendizados de estudantes que estão no fim do processo de alfabetização e devem, portanto, ler autonomamente. Sete das 22 questões verificam o desenvolvimento de habilidades de alfabetização, como as relações fonema/letra, em situações de irregulares ortográficas simples. Essas habilidades deveriam ter sido construídas nos anos anteriores e, portanto, não é razoável que um quarto da evidência coletada pelo teste do terceiro ano venha desse tipo de item.

Os textos incluídos no teste, na realidade recortes de textos, são muito pequenos e não permitem a formulação de questões de interpretação de texto. Por isso, muitas das questões que têm os textos como suporte no teste captam a capacidade de o estudante reconhecer o gênero discursivo e seus elementos constitutivos. Esse tipo de habilidade, embora uma expressão da competência leitora, informa pouco na ausência de questões de interpretação. A baixa complexidade das habilidades contempladas no teste pode ser verificada pelos verbos das habilidades associadas aos itens do teste: localizar, identificar e reconhecer, todos indicando processos cognitivos da ordem mais baixa. O teste não verifica as habilidades com demandas cognitivas mais altas e não inclui questões que verifiquem as habilidades de escrita, essenciais na alfabetização, que estavam presentes no teste da ANA, Avaliação Nacional da Alfabetização, o padrão de desempenho usado anteriormente.

Ou seja, esse teste não gera informações sólidas sobre a compreensão leitora dos estudantes ao fim do ciclo de alfabetização. Além disso, tem um nível de demanda muito baixo e, portanto, as escolas terão resultados altos que, em vez de indicarem excelência, apenas legitimarão um nível de domínio superficial e insuficiente da compreensão leitora. Isso é particularmente grave educacionalmente, pois crianças que não aprendem a ler até o final do terceiro ano do ensino fundamental tendem a ter dificuldade de leitura pelo resto de suas vidas e, provavelmente, terão dificuldades de desenvolver outros conhecimentos, todos dependentes de proficiência na compreensão leitora.

Em síntese, o MEC envia mensagens contraditórias com suas duas recentes iniciativas. Por um lado, coloca um padrão muito baixo de aprendizado ao fim de ciclo de alfabetização. Por outro, divulga a definição de compreensão leitora latente nos melhores modelos conceituais existentes. Não seria o caso de o MEC e construir um sistema para subsidiar as avaliações formativas nas escolas, através de plataforma com interface bem-feita, como a criada para os testes divulgados usando entretanto, o modelo conceitual do PIRLS?

Mineiros autênticos

(Publicado em O Estado de São Paulo, 10 de dezembro, 2021)

Diferentes de mim, Bolívar Lamounier e Edmar Bacha, que acabam de publicar suas histórias[1], são mineiros de verdade.  Bolívar nasceu em Dores do Indaiá, e lembra com afeto as casas coloniais, as pescarias no rio e o isolamento que fazia da cidade parte do sertão mineiro. Edmar lembra da pequena Lambari do Sul de Minas, do sobrado em que morava, do sanduíche que comia no Bar do Juca e do apito do trem que chegava à cidade ao anoitecer.  

Foi em Dores, nos anos 20, que Francisco Campos fundou uma Escola Normal, uma das primeiras do país, onde a mãe se formou como professora rural e na qual matriculou o filho para estudar nas “classes anexas” em que a melhor pedagogia da época era adotada. O pai era um pequeno fazendeiro e comerciante, da família Lamounier de Itapecerica que incluía médicos, políticos e músicos.

Lambari, em comparação, era uma cidade mais moderna, parte do “circuito das águas” que recebia os turistas das cidades grandes em seus hotéis e cassinos. Do lado da mãe, que era diretora da escola local, Edmar vem de uma família de origem portuguesa, os Lisboa, na qual o culto da literatura era personificado na tia Henriqueta. Os Bacha são de origem libanesa, que começaram a chegar ao Brasil no final do século 19 em busca de novas oportunidades. Ambas as famílias se mudaram para Belo Horizonte e, no início dos anos 60, Bolívar e Edmar se encontraram na Faculdade de Ciências Econômicas da UFMG, um no curso de sociologia e política, outro em economia.

Nenhum fazia parte da “tradicional família mineira” que controlava a política, as terras e os recursos do Estado. Nem da grande massa, incluindo antigos escravizados que, terminado o ciclo do ouro do século 18, ficou isolada nas pequenas aldeias e roças do interior, em uma economia que mal garantia a sobrevivência. Mas faziam parte de um grupo significativo de pessoas que, pelo empreendedorismo e sobretudo pela educação, buscavam participar do progresso que emanava do Rio de Janeiro e São Paulo e aos poucos, pelo rádio pelas estradas, ia chegando ao interior, atraindo os mais inquietos, ou mais necessitados, para as capitais. Eram, pode-se dizer com algum exagero, sucessores dos aventureiros que vieram para Minas em busca do ouro, participaram da Inconfidência, escreviam poesia e liam às escondidas os livros proibidos da imensa biblioteca do cônego de Mariana.

Estudar sociologia, política e economia era também sair da rota tradicional dos cursos de direito, medicina e engenharia, preferidos pelos filhos das famílias tradicionais. A Faculdade de Ciências Econômicas da UFMG, com seu programa de bolsas de estudo, criou entre os estudantes um ambiente efervescente em que novas ideias e estilos de vida eram experimentados, a militância política atraia a quase todos, e de onde tantos saíram para voos mais altos. Bolívar e Edmar, nos anos 60, foram entre os primeiros cientistas sociais brasileiros a partir para os modernos cursos de doutorado nos Estados Unidos – Universidade da Califórnia e Yale – rompendo com a tradição francesa que predominava na geração mais velha. 

De volta ao Brasil, nos anos 70, ajudaram a organizar novos cursos de pós-graduação que iriam formar as futuras gerações – o Instituto Universitário de Pesquisas do Rio de Janeiro, por Bolívar, e o departamento de economia da Universidade de Brasília, por Edmar. Mais tarde Bolívar ajudou a organizar o CEBRAP, dirigido por Fernando Henrique Cardoso, e depois fundou o IDESP, outro instituto independente de pesquisas sociais em São Paulo. Edmar, depois de Brasília, foi um dos fundadores do curso de pós-graduação em economia da PUC do Rio de Janeiro.

Mas foi na produção intelectual e na vida pública que ambos deram continuidade à inquietação mineira que traziam das origens. Bolívar, ainda estudante, participou dos movimentos estudantis, chegou a ser preso pela ditatura militar, e escreveu sua tese de doutorado criticando a tradição autoritária dos intelectuais brasileiros, à direita e à esquerda. Fez parte da Comissão Afonso Arinos, que na década de 80 procurou produzir, para o Brasil, uma Constituição moderna e fundada em princípios de justiça social e liberdade econômica, e em seus inúmeros livros e artigos, foi sempre um defensor da democracia parlamentarista. Edmar, que no início se aproximou dos economistas desenvolvimentistas como Celso Furtado, passou depois a dar prioridade aos temas da liberdade e abertura da economia e do Estado eficiente, como os melhores caminhos para sair do círculo vicioso do atraso, da desigualdade e da pobreza. Foi presidente do IBGE, de onde, nos anos 80, participou do frustrado Pano Cruzado, e finalmente, nos anos 90, foi um dos principais organizadores e mentores intelectuais do Plano Real. 

É um conforto ver que ambos continuam remando contra a corrente, escrevendo e falando na busca dos melhores caminhos para o Brasil moderno, que ainda acham viável, se livre das tentações populistas e reacionárias que mobilizam a tantos. Autênticos mineiros.


[1] Edmar Bacha, No país dos contrastes, Selo Real, 2021; Bolívar Lamounier, De onde, para onde, Global, 2018; Antes que me esqueça, Desconcertos, 2021.

Wordpress Social Share Plugin powered by Ultimatelysocial