Francisco Soares: Enem Digital

O Exame Nacional do Ensino Médio – Enem – precisa de mudanças. Esse exame baseia-se na estranha premissa de que todos os estudantes brasileiros, ao fim do Ensino Médio, devem saber exatamente o mesmo sobre todas as disciplinas. Por essa razão, engessa o currículo dessa etapa da Educação Básica, o que, por sua vez, explica a percepção de irrelevância do ensino médio por muitos estudantes, que o abandonam em grandes números. Assim sendo, é boa notícia saber que o Instituto de Estudos e Pesquisas Educacionais do Ministério da Educação –  Inep – optou por começar as mudanças introduzindo a tecnologia digital para a oferta do exame. 

O anúncio feito na semana passada não foi seguido, entretanto, da divulgação de um documento com a descrição técnica das decisões tomadas. Isso é essencial para se formar um entendimento mais completo das escolhas feitas pelo corpo técnico do MEC-Inep e para subsidiar o debate público. O Enem afeta a vida de milhões de brasileiros: estudantes, famílias, professores e diretores das escolas. Além disso, a preparação para o exame é um setor que movimenta recursos financeiros substanciais. Todos esses atores sociais devem ser ouvidos, bem como os especialistas que têm conhecimento técnico relevante. 

O principal produto do Enem é um escore usado para definir a ordem de acesso dos candidatos a vagas em instituições de Ensino Superior. Uma boa posição no exame garante acesso a cursos que abrem portas para bons empregos e renda alta. Isso explica a enorme competição nesses cursos e a importância do Enem para os estudantes. Portanto, se o exame vai ser oferecido em dois formatos, é fundamental garantir que a nota final dos estudantes não é influenciada pela participação em uma ou outra versão. Se as notas dos que fizeram os dois formatos não forem comparáveis, fica criada uma fragilidade no exame, com claras consequências legais.  Pelas declarações e comentários publicados na imprensa, nota-se que esse ponto ainda não foi completamente considerado. Assume-se ou que isso não é um problema ou que pode ser resolvido com o uso da Teoria de Resposta ao Item. Ambas hipóteses são falsas, se não houver um planejamento adequado. 

Há itens de teste que, por suas características substantivas, têm comportamento diferente quando respondidos em papel ou no computador. Diferenças de comportamento dos itens podem também ser consequência de características sociais e escolares dos estudantes.  Escores baseados em itens com comportamento diferente nos dois formatos não são equivalentes, independentemente da metodologia estatística usada. 

Há várias soluções para esse problema, cujas viabilidades precisam ser discutidas. As duas mais óbvias são fazer um pré-teste com os dois formatos e/ou cuidar que a composição dos grupos de estudantes que usarem cada um deles permita, no momento da análise, considerar os impactos específicos de cada um.  

Como se anunciou que já no próximo ano os dois formatos serão oferecidos, fica a pergunta: existem itens pré-testados em papel e no computador em número suficiente para compor os testes? Se os estudantes alocados ao formato on-line forem comparáveis aos estudantes que fizerem o exame com lápis e papel em termos sociodemográficos e escolares seria possível desenhar um processo de análise que garantisse a comparabilidade dos escores. Isso exigiria, no entanto, que o edital especificasse, pelo menos em linhas gerais, as etapas do processo de análise – o que constitui uma tarefa complexa. 

Outro ponto que merece escrutínio público é a forma de contratação das empresas. O Enem usa um consórcio cuja contratação tem sido feita por dispensa de licitação. Em princípio, a mudança do formato coloca outros competidores em condições de participar. Na realidade, como nenhuma empresa no mercado tem hoje experiência de aplicação de exame on-line com o número de estudantes do Enem, a empresa escolhida terá também de desenvolver tecnologia e terá, com isso, uma fantástica vantagem competitiva futura. Assim a forma de seleção dos fornecedores deve garantir que uma saudável concorrência ocorra. Também, seria prudente que os órgãos de controle se manifestassem previamente. 

Finalmente, deve-se considerar as experiências similares existentes no mundo:  o Scholastic Aptitude Test americano  – SAT – e o exame de admissão chinês,  GaoKao, realizados em países com amplo acesso a tecnologias que ainda não abandonaram completamente o formato de aplicação em papel. 

Todas essas considerações devem ser enfrentadas considerando, no entanto, que usar o computador para aplicar o Enem cria um leque enorme de possibilidades e, assim sendo, deve-se buscar a concretização dessa mudança. 

Uma consequência especialmente importante do uso de computador no exame seria aposentar o formato de múltipla escolha, que não permite a verificação da aprendizagem das habilidades que exigem processos cognitivos mais complexos, exatamente as mais necessárias para a vida. O teste de múltipla escolha foi desenvolvido para facilitar processos de seleção, não para orientar o ensino.

A maioria das questões de um exame pode ser respondida por um pequeno texto. Avanços muito recentes na área de Natural Language Processing tornam possível a comparação dos textos das respostas dos estudantes com os textos dos gabaritos. Essa mudança tornaria o exame um indutor – em vez de inibidor – de aprendizagens significativas.  

Há uma ausência séria em relação ao exame que está sendo ignorada. Trata-se da matriz do Enem. A reforma do ensino médio especifica que os estudantes farão o Enem em dois dias. Em princípio, o teste do segundo dia estaria concentrado nas disciplinas mais próximas da carreira universitária escolhida pelo estudante. No entanto, os detalhes ainda não foram estabelecidos, e os que entrarem no ensino médio no próximo ano farão o exame com essa nova matriz. Assim, é urgente que essa matriz seja divulgada. Comentei em artigo recente como decisões em relação a esta questão podem ajudar a tornar o exame mais barato. A mudança de tecnologia é um avanço, mas tem dificuldades de implementação e deve ser usada para tornar o exame um indutor de aprendizagens significativas. Se for utilizada apenas para turbinar o velho formato ou para diminuir custos, o país continuará a usar muitos recursos em atividade com pouco impacto educacional.

Consenso e Dissenso em Educação

(artigo publicado no jornal O Estado de São Paulo, 14 de junho de 2019)

Seis ex-ministros da educação, em recente nota, falam do grande consenso que teria sido construído no Brasil sobre o setor, que o atual governo estaria desconsiderando. De fato, existe um forte consenso sobre a prioridade que a educação deve ter,  e o governo até agora não mostrou uma política para o setor que vá além de cortes orçamentários e posturas ideológicas, diferentemente do que ocorre na economia e na segurança, aonde, concordando-se ou não, existem propostas claras formuladas com o apoio de fortes contingentes de economistas, juízes, promotores e funcionários públicos qualificados.

Mas o consenso é ilusório. Tal como na economia, a educação brasileira, depois de um período de crescimento  descontrolado, chegou a um impasse, com milhões de jovens concluindo a educação fundamental semianalfabetos, o ensino médio estagnado e com altíssimas taxas de abandono, um ensino superior público caro, desigual e que não consegue atender a mais do que 25% das matrículas, e um sistema de pós-graduação e pesquisa em grande parte voltado para si mesmo, que cresceu em quantidade mas não em impacto e relevância científica e econômico-social, com as boas exceções de sempre. 

O ponto mais alto deste consenso, segundo os ex-ministros, teria sido o Plano Nacional de Educação, aprovado por unanimidade pelo Congresso Nacional em 2014, com planos filhotes para cada estado e município, e que se desdobrava em 10 diretrizes e vinte grandes metas, divididas em 244 estratégias específicas, a serem financiadas com 10% do PIB. Para acompanhar tudo isto, contava-se com uma grande parafernália de comissões tripartites estabelecidas com as associações de secretários de educação estaduais e municipais e fóruns permanentes de negociação. Foi um consenso construído à custa de botar no papel todas as demandas de todos os interessados, e, como escrevemos na época com alguns colegas, não havia chance de dar certo, mesmo sem a crise econômica que veio depois. O PNE é um zumbi que se recusa a morrer, e, até que seja devidamente enterrado e substituído por um conjunto pequeno de objetivos realistas e bem definidos, não há como a educação brasileira avançar.

Dois exemplos recentes do suposto consenso foram a elaboração da base nacional curricular comum e a reforma do ensino médio.  A ideia de que todos os estudantes, até determinado nível, precisam compartir um conjunto mínimo de conhecimentos, sobretudo no domínio da linguagem, do raciocínio matemático e de familiaridade com as ciências naturais e sociais, é hoje reconhecida em todas partes. Mas nenhum país, que eu sabia, tem um documento semelhante à BNCC brasileira, com suas 600 páginas e centenas de habilidades e competências que os estudantes deveriam adquirir. É um texto recheado de linguagem empolada, incompreensível ou meramente retórica, como na introdução, aonde se diz o que o objetivo é  levar à  “educação integral” a partir de uma “visão plural, singular e integral da criança, do adolescente, do jovem e do adulto – considerando-os como sujeitos de aprendizagem – e promover uma educação voltada ao seu acolhimento, reconhecimento e desenvolvimento pleno, nas suas singularidades e diversidades”. Compare-se com o Socle Commun francês de 30 páginas, ou o currículo da Nova Zelândia resumido em 8 quadros, em linguagem direta e sem adjetivos. A grande lista de assessores, especialistas, colaboradores, pesquisadores, comissões de discussão e leitores críticos listados ao final mostra o esforço do MEC de construir um consenso a favor do documento. Só não foram consideradas as críticas mais profundas que chamavam a atenção para a necessidade de se chegar a um documento sintético, compreensível e compatível com o estado da arte internacional sobre os processos de aprendizagem.

O outro exemplo foi a reforma do ensino médio, que começou com uma tentativa de quebrar o consenso do currículo único tradicional e propor a implantação de trajetórias escolares diversificadas a combinadas com um núcleo comum.  À medida em que o projeto ia sendo discutido, o tamanho deste núcleo comum aumentava, atendendo às demandas dos professores das diversas disciplinas, até se transformar em uma versão reduzida do currículo tradicional, deixando as trajetórias curriculares em segundo plano, e diluindo a proposta inicial. O ENEM, que deveria ser reformulado para corresponder ao novo formato, continua como está. O novo ensino médio entra em vigor em 2020, e as escolas não sabem o que fazer.

É preciso construir um novo consenso, baseado na ideia de que deve ser possível fazer muito mais com os 5% do PIB que o Brasil já gasta em educação. Com a queda da natalidade, serão menos estudantes, e será possível ter menos professores e pagar mais. A profissão docente precisa ser reformada, com melhores cursos de formação, carreiras associadas ao desempenho, e facilitando o acesso ao ensino de pessoas com outros perfis. A educação infantil deve deixar de ser meramente assistencialista, e ser tratada como etapa essencial de formação.A tolerância com o analfabetismo funcional deve acabar, com o uso de métodos comprovados de alfabetização e acompanhamento de resultados. O segundo ciclo do ensino fundamental precisa ser repensado, e a reforma do ensino médio precisa ser efetivamente implementada, inclusive pela ampliação e fortalecimento da educação técnica.  O formato do ensino superior precisa ser revisto, criando mais alternativas de formação em diferentes níveis, e a pós-graduação e a pesquisa precisam se tornar menos acadêmicas e mais vinculadas às necessidades do país. E, em todos os níveis, os papéis do setor público e privado precisam ser revistos, para que se tornem complementares e livres do predomínio do corporativismo e do mercantilismo. 

O Gigantismo do MEC

(publicado no jornal O Estado de São Paulo , 12/04/2019)

A preocupações ideológicas que marcaram a curta gestão de Velez Rodrigues e que aparentemente continuarão na agenda do novo Ministro nem de longe refletem as questões que o Ministério da Educação, com um orçamento de 123 bilhões de reais e 450 mil funcionários em 2018, precisa enfrentar. Além de administrar uma rede própria com mais de cem instituições e 1.3 milhões de estudantes, o Ministério é responsável por autorizar, avaliar e cuidar do desempenho dos estudantes e de todas as instituições de ensino superior federais e privadas, desenvolver os parâmetros curriculares de todos cursos de todos os níveis, manter em dia as estatísticas educacionais, administrar o crédito educativo e uma longa lista de programas como Proinfância, Dinheiro Direto nas Escolas, Livro Didático, Brasil Profissionalizado, Transporte Escolar e tantos outros, sem falar em grandes “missões” que surgem de repente como o Ciência Sem Fronteiras e o Pronatec, do período Dilma. Temas associados a valores e costumes algumas vezes surgem em alguns exames ou currículos propostos para determinadas áreas de estudo, são questionados e repercutem na imprensa. Existem também controvérsias importantes sobre métodos de ensino, usos de novas tecnologias, e modelos de organização do sistema escolar. São discussões que têm seu lugar, mas não deveriam nos distrair da questão fundamental: o Brasil está gastando bem os 6% do PIB que hoje destina à educação? As pessoas estão aprendendo a ler, escrever e contar como deveriam? Sabemos que não, o que leva à segunda pergunta: o Ministério da Educação, com seu atual formato e estrutura, é o melhor instrumento para mudar a situação, bastando, para isto, encontrar um bom Ministro e uma equipe certa? Ou será que é necessário repensar de maneira profunda e ousada o papel do Ministério, e buscar outras alternativas?

O governo federal só contribui com 30% dos gastos públicos em educação, concentrados no financiamento de suas universidades, ficando o restante por conta dos estados e municípios, sobretudo para a educação infantil e fundamental, sem falar nos grandes investimentos das famílias na educação privada. No ensino superior, o governo federal só atende a 15% da matrícula, ficando 75% com o setor privado, e os demais com os Estados. No ensino fundamental, a participação federal é irrisória – menos de cem mil matrículas, ficando 85% com os Estados e Municípios e 15% com o setor privado. No papel, o governo federal, sobretudo através do Conselho Nacional de Educação, tem autoridade regulatória sobre todo o sistema, e a Constituição diz que o e ensino nos três níveis deve ser organizado em “regime de colaboração”. Mas, na prática, existe muita controvérsia sobre como esta colaboração deve funcionar, e a dificuldade de o Ministério da Educação chegar ao “chão da escola” com suas orientações curriculares, avaliações e programas de apoio acaba resultando em interminável proliferação de portarias, instruções normativas, notas técnicas, resoluções, decretos e mudanças na legislação de efeitos desconhecidos, porque não existem procedimentos adequados para avaliar sua eficácia.

Uma das razões desta combinação de gigantismo com ineficácia a que chegamos foi a tentativa do Ministério, ao longo dos anos, de cooptar todos os grupos de interesse da área de educação, da UNE às multinacionais do ensino privado, passando pelos sindicatos de professores, instituições filantrópicas, associações científicas e corporações profissionais. O resultado mais evidente deste processo nos governos do PT foi o Plano Nacional de Educação aprovado unanimemente pelo Congresso Nacional em 2014, e ainda em vigor, com uma longa lista de objetivos irrealizáveis e desconexos a serem pagos com pelo menos 10% do PIB a cada ano. O exemplo mais recente é a reforma do ensino médio, uma ideia importante que parece estar sendo perdida pelo cipoal normativo que acabou gerando. Políticas educacionais não podem ser implementadas sem competência técnica, autoridade e legitimidade, mantidas através do diálogo ativo e respeitoso com as comunidades profissionais a adoção das melhores práticas internacionais. Isto é muito diferente de simplesmente atender aos interesses corporativos dos que falam mais alto, ou impelir a ideologia do momento.

A solução liberal extremada para tudo isto é simples: fechar o Ministério e as secretarias de educação, privatizar as universidades e escolas, e deixar que as forças do mercado cuidem de tudo. Mas isto não funciona em nenhum lugar do mundo; os países que conseguem melhorar sua educação são aqueles em que o setor público funciona com autoridade, competência e investimento significativo de recursos públicos. Existem formas muito diferentes de fazer isto, mais centralizadas, como na França, ou mais abertas e plurais, como nos Estados Unidos. Apesar da influência francesa no passado, o Brasil é mais próximo da desorganização americana, com um governo central relativamente débil, alguns governos regionais e locais fortes, e um forte setor privado.

Os dois modelos sugerem o caminho a seguir. Ao invés de uma administração de comando, de cima para baixo, políticas mais indutivas, abrindo espaços e valorizando a diversidade e as experiências locais. Ao invés de fortalecer a burocracia federal, decentralizar não só a execução, mas inclusive a avaliação dos resultados da educação, envolvendo governos, entidades profissionais e associações voluntárias de credenciamento e certificação, na medida de suas competências efetivas. Ao invés de normas e determinações minuciosas e detalhadas impostas de cima para baixo, mais respeito às iniciativas locais. Sem abdicar da responsabilidade de garantir a qualidade e reduzir a inequidade, valorizar e estimular a iniciativa particular e introduzir nas universidades públicas formas de gerenciamento e incentivos mais típicos do setor privado, como a administração por objetivos e contratos de gestão; e não permitir que programas governamentais continuem existindo sem mecanismos claros de avaliação de resultados e justificação de seus custos.

Não chega a ser o mapa da mina, mas pode ser um roteiro.

Ensino à distância – não há milagre

(Texto publicado na Revista Veja, de 24 de outubro de 2018, p. 60-61)

Entre 2014 e 2017, a percentagem de matriculados em cursos superiores à distância no Brasil passou de 17.2% a 21.3%, concentrados sobretudo nas instituições com fins lucrativos, onde, hoje, um terço dos estudantes estudam nesta modalidade. São na maioria pessoas mais velhas, que precisam trabalhar, têm dificuldade ter boa classificação no ENEM para ingressar nas universidades públicas, e não podem pagar matrículas muito caras. Para eles, a educação à distância, se bem feita, faz muito sentido. Isto dito, é preciso entender que o ensino à distância, assim como o presencial, pode ser dado de formas muito diferentes, com qualidade muito variada, e não são igualmente aplicáveis para todos os conteúdos e em todos os níveis.

Uma das vantagens do ensino à distância é que é possível preparar aulas excelentes com os melhores professores, acompanhadas de materiais de estudo, sistemas de avaliação, etc., tudo isto em grande escala. Existem boas experiências de ensino à distância em todo o mundo, a começar pela famosa Open University inglesa. Cursos na modalidade semipresencial, em que os estudante se encontram periodicamente para trabalhar com os professores e têm possibilidade de interagir com professores e colegas através da internet, podem ser melhores do que os cursos noturnos que proliferam no Brasil. Um dos problemas com os cursos à distância é que, trabalhando sozinhos, o número de pessoas que abandona o curso antes de terminar é muito alto, mas é bom lembrar que o abandono nos cursos presenciais no Brasil, mesmo nas universidades públicas, é próximo de 50%. Outro problema é que não é nada barato criar um sistema em que os alunos possam efetivamente interagir com seus professores à distância, e, sem isto, a qualidade dos cursos fica muito comprometida.

Quando se trata da educação dos jovens, e sobretudo de crianças, a situação é muito diferente. O processo educativo não consiste somente na transmissão de conhecimentos que podem ser gravados em aulas e codificados em sistemas de ensino, mas em um conjunto muito mais amplo de atitudes, valores e maneiras de pensar e trabalhar que só se transmitem na interação direta entre quem ensina e quem aprende, e na convivência diárias entre colegas. Em parte, são as chamadas “competências não cognitivas”, ou características de personalidade, como persistência, capacidade de trabalhar em equipe, estabilidade emocional, motivação, e outras, de importância cada vez mais reconhecida na educação e no trabalho, que se desenvolvem na experiência escolar no dia a dia, quando bem conduzida. Mas também os chamados “conhecimentos tácitos” como a maneira de desenvolver um argumento, a apreciação de um texto literário ou uma obra de arte, o significado de uma demonstração científica, a prática de lidar com materiais e tantas coisas mais que as pessoas só aprendem através do contato com outras que já têm estes conhecimentos e práticas. E incluem também valores, que se transmitem sobretudo pelo exemplo. Na escola, quem pode transmitir tudo isto são os professores. Eles são insubstituíveis, e toda a evidência internacional é que a qualidade dos sistemas escolares, e da educação de um país, é dada pela qualidade de seus professores.

De novo, é importante distinguir aqui o ensino fundamental do ensino médio. No ensino fundamental, o uso de recursos pedagógicos à distância só faz sentido de forma complementar, sob orientação e acompanhamento dos professores. Existe muito espaço para usar recursos à distância para apoiar os professores, com planos de aula, materiais de demonstração, experiências de colaboração com crianças de outras escolas, e outros, além dos trabalhos de educação continuada dos próprios professores.

A recente reforma do ensino médio que o Ministério da Educação está tratando de implementar traz duas ideias aparentemente contraditórias, a preferência pelo ensino médio de tempo integral e a abertura para o ensino médio à distância. Parece uma contradição, mas só para quem esquece da grande variedade dos estudantes e das redes escolares do país. O ensino de tempo integral, como o dos institutos federais e das escolas militares, pode ser bom, mas é caro, seletivo (os alunos passam por “vestibulinhos)”, e não há como ampliá-lo de forma significativa nas redes estaduais, Metade dos alunos do ensino médio no Brasil hoje tem 18 anos ou mais, um quarto estuda à noite, muitos precisam trabalhar, a maioria não vai para uma universidade, e todos precisam adquirir competências profissionais que sejam úteis e valorizadas no mercado de trabalho. Para estes, uma combinação entre cursos presenciais concentrados nas matérias básicas, e cursos mais práticos em diferentes modalidades, inclusive de intermediação tecnológica, em que os conteúdos são produzidos e transmitidos centralmente, mas os alunos assistem em salas de aula acompanhados pelos professores, podem fazer mais sentido, dependendo de onde vivem, dos recursos locais disponíveis e das áreas de capacitação.

Para o ensino superior, uma questão importante é saber se faz sentido para o governo estimular o desenvolvimento do ensino à distância, seja nas instituições públicas ou no financiamento das instituições privadas, como substituto para o ensino presencial. Uma justificativa seria a necessidade de ampliar o acesso ao ensino superior, que hoje ainda é limitado. Mas o principal obstáculo à ampliação do ensino superior no Brasil não é a falta de vagas ou cursos superiores, mas o número ainda pequeno de pessoas que terminam o ensino médio com qualificações adequadas para estudos mais avançados. Milhões se candidatam todos os anos para o ENEM, poucos se classificam, metade dos que entram em universidades públicas ou privadas nunca terminam seus cursos, e muitos dos que se formam acabam trabalhando em atividades de nível médio.

Para os que ficam pelo caminho, a educação universitária é uma grande fábrica de ilusões que custa dinheiro e tempo que poderiam ser usados para uma educação mais prática e acessível. Multiplicar vagas de ensino à distância, aonde as taxas de abandono são muito mais altas, é agravar ainda mais este quadro.

O ensino à distância, em suas diferentes modalidades, quando bem feito e aplicado aos conteúdos, níveis e tipos de alunos adequados, principalmente na educação continuada de adultos, é um excelente recurso, mas não é um substituto para boas escolas e bons professores, sobretudo nos anos iniciais de formação. Os problemas da educação brasileira não se resolverão com novas tecnologias nem com educação à distância, mas com bons professores, currículos adequados e altos padrões de exigência de desempenho de estudantes, professores e instituições.

Chico Soares: qual desempenho é adequado nos testes da Prova Brasil?

Escreve José Francisco Soares, do Conselho Nacional de Educação:

O governo federal, ao divulgar, na semana passada, os resultados da Prova Brasil,  dividiu  as notas  dos estudantes em três níveis referidos como: Insuficiente, Básico e Adequado.  Ao usar adjetivos com claras interpretações pedagógicas, busca facilitar o uso dos dados para o planejamento pedagógico das escolas e das redes de ensino, assim como a comunicação com a sociedade. 

No entanto, as escolhas de pontos de corte que definiram os níveis  produziram  uma mudança drástica no  diagnóstico da realidade educacional brasileira. Experiencias consideradas exemplares até 2017 se tornaram fracassos com a nova metodologia. Por exemplo,  a cidade de Sobral, que era considerada exemplo nacional, passou a ter apenas 13,4% dos alunos com  aprendizado adequado em língua portuguesa, ao invés de 79,8 % em 2015. 

Na realidade não ocorreu nenhum desastre educacional nos últimos dois anos, mas apenas a introdução de uma forma  equivocada de sintetizar os dados da Prova Brasil. 

A classificação das notas dos estudantes em níveis exige basicamente a definição de pontos de corte na escala usada para expressar as notas. Para estas escolhas, a técnica usada internacionalmente consiste, primeiramente, em  ordenar por nível de dificuldade os itens usados no teste. A seguir um painel de professores, depois de informados sobre quantos níveis serão criados e a função  pedagógica esperada de cada um,  escolhem  os pontos de cortes, primeiramente, de forma individual e depois em grupos. Várias rodadas de discussão são usualmente necessárias para a criação de um  consenso.

Infelizmente, a pesquisa necessária para o uso desta métrica ainda não foi feita de forma definitiva no Brasil, apesar de grandes avanços recentes. Diante disso, a definição de valores de referência para a escala do SAEB tem sido feita de forma comparativa. Tanto na definição de metas para o IDEB, como as metas do movimento “Todos pela Educação”, quanto para a criação de níveis nos sistemas de avaliação estaduais,  utilizou-se a experiência brasileira no  PISA. Basicamente, mediu-se  o aumento  necessário  no desempenho obtido pelos estudantes brasileiros no PISA para que  as notas do conjunto de estudantes brasileiros tivessem a mesma distribuição estatística que a dos estudantes de um país típico da OECD.  Este aumento, transformado em desvios-padrão, é utilizado para criar a distribuição de referência na escala do SAEB. Nesta distribuição escolheu-se,  por consenso pedagógico,  o ponto de 70% para definir o ponto de corte do nível adequado. Dois outros pontos de corte  adicionais foram escolhidos, definindo-se quatro níveis: abaixo do básico, básico, adequado e avançado. Os níveis assim obtidos vêm sendo usados há anos em artigos, por muitos sistemas de ensino, em plataformas de acesso aos dados e por setores da sociedade civil. No entanto, é importante registrar que outras escolhas poderiam ser feitas.

Para a divulgação dos dados referentes à Prova Brasil de 2017, o  governo federal optou por trabalhar com uma divisão estatística de níveis feita  sem comparação externa. Em seguida, arbitrou, sem nenhuma  justificativa, valores para os pontos de corte muito maiores do que os que tem sido praticados.  Como consequência, a nova síntese sugere que os resultados em Língua Portuguesa são melhores do que os resultados em Matemática, em completo desacordo com o que vem sido aceito, que é que os resultados de aprendizagem de todos estudantes brasileiros estão em níveis catastróficos. 

Usar evidências empíricas em relação aos resultados educacionais: acesso, permanência na escola e aprendizado, assim como indicadores das condições das escolas, é fundamental para a melhoria da educação. Mas isso exige a criação de consensos baseados em análises compartilhadas dos dados.  O trabalho que vem sendo feito nessa direção mostra que o sistema educacional tem sérios problemas no aprendizado de seus estudantes, assim como de condições de funcionamento. Mas uma mudança abrupta de metodologia não ajuda no debate.

O governo federal deveria  usar a oportunidade para não só corrigir o diagnóstico apresentado  como também  para iniciar um processo, baseado na literatura internacional e conduzido por especialistas e professores,  que defina e interprete níveis de referência oficiais para a análise dos dados de aprendizado obtidos pela  Prova Brasil.

João Batista Araujo e Oliveira: Os Presidenciáveis e a Educação

 

Reproduzo abaixo o artigo publicado hoje no O Estado de São Paulo.

Os Presidenciáveis e a Educação

João Batista Araujo e Oliveira (*)

A educação nunca foi e possivelmente tampouco será tema importante ou decisivo na próxima campanha presidencial. Mas essa pode ser uma oportunidade para se iniciar um debate qualificado sobre o tema.

Há três grandes conjuntos de questões que devem ser considerados na pauta dos candidatos. O primeiro refere-se ao paradoxo da enorme expansão da oferta de vagas nas escolas – e do aumento da taxa de escolaridade da população nos últimos 30 anos – e seu efeito nulo na produtividade. Mas não bastará reconhecer que a educação não está contribuindo para aumentar a produtividade do País. Os candidatos, independentemente de seus partidos, precisam reconhecer que as políticas educacionais dos últimos 30 anos – e o fato de os recursos per capita terem mais que dobrado no período – pouco ou nada contribuíram para melhorar esse impacto.

Essa discussão poderia ter duas importantes derivadas. A primeira vai além da educação e permitiria entender por que a produtividade não aumenta no Brasil. Os mesmos fatores que impedem o aumento da produtividade, em especial o protecionismo e a falta de competição, também impedem a melhoria da qualidade da educação. A segunda seria o exame do tipo de escola e de currículo de que um país precisa para impulsionar sua economia e, de modo particular, o papel do ensino médio técnico e a participação do setor produtivo, especialmente do Sistema S. Isso exporia as fragilidades da Base Nacional Curricular Comum e da atropelada lei do ensino médio, que carecem de profundos ajustes.

Se os candidatos reconhecerem esses dois grandes problemas, já terão dado um grande passo para elevar o nível do debate. Deve-se decidir se a educação continuará sendo tratada como gasto, como “política social” de caráter tipicamente compensatório e cunho populista, ou como parte central da política econômica focada na formação do capital humano. A educação continuará a ser tratada em foros corporativistas, dominados por grupos ideológicos, ou será tratada em foros legítimos, qualificados e adequados, juntamente com outros temas cruciais para o desenvolvimento do País, como ciência, tecnologia e inovação? A posição dos candidatos sobre esses temas poderá dar aos eleitores uma ideia concreta do seu nível de seriedade e compromisso com o futuro do País.

O segundo conjunto de questões refere-se ao equilíbrio fiscal do País e suas consequências para o financiamento da educação. O setor público, em especial Estados e municípios, estão à beira da falência. Na área da educação, os gastos vêm aumentando acentuadamente, apesar da redução demográfica. O aumento de gastos é provocado, em grande parte, por políticas capitaneadas pelo governo federal, notadamente com a instituição de mecanismos como o Plano Nacional de Educação e a Lei do Piso Salarial. A situação é agravada pelo entendimento – ou falta dele pelo Ministério Público – de que é insano obrigar Estados e municípios a efetivar mais professores em tempos de vertiginosa redução demográfica. Essa discussão levará inevitavelmente a questões relacionadas ao pacto federativo e vai determinar se o candidato está preparado para mudar os rumos da educação ou vai manter a retórica de que “nunca faltarão recursos para boas ideias e bons projetos”.

Já o terceiro conjunto de questões diz respeito ao modelo fácil da expansão: mais escolas, mais vagas, mais bolsas, mais professores, mais salários, mais investimentos. Nada disso resultou em qualidade e eficiência. Felizmente, não há mais dinheiro para continuar essa gastança ineficaz. Os futuros governantes vão fazer mais do mesmo? Darão continuidade a políticas que comprovadamente não têm funcionado há décadas? Continuarão a ignorar as evidências científicas e as melhores práticas, cultivando extensas plantações de jabuticaba na paisagem educacional? Vão criar novos e inócuos programas, sempre lançados com pompa e circunstância? Vão promover ridículos “choques de gestão”? Afinal, o que os candidatos sabem sobre os reais problemas da educação? O que pretendem fazer para mudar o vetor atual? Ou, ao menos, por onde pretendem começar?

As propostas de cada candidato devem ser calibradas por uma análise do seu potencial impacto na qualidade, eficiência e equidade da educação. Aqui entram também as propostas para lidar com as questões da pobreza – principal determinante do sucesso escolar. Tudo isso é importante, mas a conta precisa fechar.

Nas últimas décadas houve importantes avanços tanto no campo da economia quanto no da educação. Hoje há conhecimentos e instrumentos que permitem lidar com gigantescas crises financeiras, como a que resultou da “nova matriz econômica”. Na área da educação, também existem conhecimentos científicos e experiências comprovadas que nos permitiriam dar saltos qualitativos em tempo relativamente reduzido. Das dezenas de reformas educativas de vulto empreendidas nos últimos 20 anos em todo o mundo, pelo menos uma boa dúzia levaram a modelos e ensinamentos que, conduzidos competente e adequadamente, poderiam melhorar a qualidade do nosso sistema educacional.

Programas de partidos políticos raramente serviram de critério para orientar votos e tanto no plano federal quanto no estadual e municipal é impossível identificar uma identidade partidária nas políticas educacionais. Ao contrário, o que se nota é um forte consenso em torno de equivocadas mesmices que, apesar da grandiloquência dos discursos e dos aplausos da plateia, não produziram frutos nem contribuíram sequer para dar início ao estabelecimento das bases de um sistema educativo de qualidade. O início da mudança começa com o debate, mas este precisa situar-se num patamar que só estadistas, estimulados por debatedores competentes, incisivos e bem preparados, conseguirão promover e sustentar.


(*) Presidente do Instituto Alfa e Beto

Chico Soares: Contribuição para o debate sobre competências

Contribuição para o debate sobre competências

CHICOsoares (*)

  1. Caveat

Mineiro e escaldado, entro no debate sobre competências com uma nota de precaução. Andrei Sakharov, cientista e prêmio Nobel da Paz, disse certa vez que ideias transformadoras aparecem apenas através de debates, nos quais há longa sequência de troca de argumentos, e nos quais seus participantes expressam tanto ideias já solidamente justificadas, como também dúvidas, perguntas e propostas de soluções ainda em estágio inicial de formulação.  Sei que isso é muito difícil de acontecer hoje no Brasil, um país dividido em tudo, mas assumo que isso é verdade nessa discussão.

  1. Este debate é necessário

O tema da competência é importante. Afinal o uso desta opção de organização do trabalho pedagógico é uma das respostas possíveis para o problema dos conhecimentos inertes, usualmente associados com o texto The aims of Education de Alfred Whitehead. O autor diz que a inclusão de itens no currículo escolar deve ser baseada na sua relevância para a vida dos estudantes.  Crachay e Marcoux, em um texto construído em uma tradição muito crítica ao uso de competências na educação, reconhecem a importância nessa dimensão.

  1. Polissemia

Não há na literatura uma definição consensual do conceito de competência. Diferentes atores usam este termo com sentidos similares, mas cujas diferenças tem impactos pedagógicos. O conceito adotado mais amplamente no Brasil não é o mesmo adotado pelo PISA e OCDE, a definição mais influente no debate mundial educacional

  1. Definição – OCDE

Para a organização do PISA, a OCDE organizou um grupo de trabalho: DeSeCo – Defining and Selecting Key Competencies. O artigo de Weinert (2001) conclui que “não existe uma definição única do confeito de competência aceita amplamente nem uma teoria latente”. Assim sua recomendação, aceita por muitos, foi adotar uma definição funcional do conceito. Para ele,

“Competência é a capacidade atender com êxito demandas complexas em um contexto particular, através da mobilização de pré-requisitos psicossociais (incluindo aspectos cognitivos e não-cognitivos. Esta definição foi também adotada pela União Europeia que define competência como uma combinação de conhecimentos, habilidades (skills) e atitudes exigidas pelo contexto”.

Esta definição foi recentemente reafirmada pela OCDE no texto The Future of Education and Skills – The Future we want.

Há três polos nessa definição: contexto específico, mobilização e diversidade de recursos: conhecimentos, habilidades e atitudes. Nessa definição, o foco principal do conceito está nas ações, escolhas e maneira de se comportar com que cada pessoa enfrenta os problemas que a vida lhe põe.

  1. Nomenclatura

Nesta abordagem, as palavras “skill”e “competence”, traduzidos usualmente para o português do Brasil como habilidade e competências, referem-se a conceitos diferentes, ainda que associados. O relatório do DeSeCo é enfático ao afirmar que “nem os componentes cognitivos nem os aspectos motivacionais isoladamente constituem uma competência. Por exemplo, habilidades (skills) de pensamento crítico, habilidades analíticas, capacidade de solução de problemas gerais, ou persistência não são competências, porque não descrevem uma resposta individual completa a uma demanda específica.Constituem, no entanto, elementos valiosos, se não indispensáveis de competência de ação.” A ideia de que o conceito de competência está associado à capacidade de resolver problemas específicos e complexos, como são os da vida cotidiana, tem consequências tanto na organização do ensino como da avaliação

  1. Avaliação de Competências

O PISA é organizado por competências e, por isso, a OECD desenvolveu documentos conceituais que descrevem as competências que avalia: Leitura, Matemática e Ciências. Importante para o debate brasileiro notar que o PISA não descreve estas competências como um conjunto de habilidades.  Os itens incluídos nos testes do PISA são escolhidos analisando a relevância da tarefa proposta e sua adequação para expressar a competência a ser testada. Aceita a sua relevância, a etapa seguinte do processo de produção do item envolve uma análise detalhada do item para a identificação dos conhecimentos e habilidades necessários para que os estudantes produzam a resposta correta.  Ou seja, o PISA trabalha indo do conceito de competência para o de habilidades. A discussão no Brasil se organiza da forma oposta. Com frequência a instrução para a construção do item é o texto da habilidade.

  1. Ensino por Competências

A opção por organizar por competências tem claro impacto na organização do ensino. Como consequência lógica da sua definição, o ensino organizado por competências deve ser organizado através da exposição dos estudantes a situações reais que exigem determinados conhecimentos, habilidades, atitudes e o discernimento possibilidade pelos valores.  Isso foi formalizado com a abordagem pedagógica denominada “situated learning theory”, introduzida por Lave e Wenger (1991),  que preconiza que qualquer conhecimento é criado apenas pela participação dos estudantes em ações concretas em diferentes contextos.

  1. Vocabulário comum

Na forma atual do debate, o termo competência é usado por diferentes atores e textos legais e normativos com sentidos diferentes. Como argumentado acima, a posição da OEDC não pode ser usada para justificar todas as posições no nosso debate, já que a definição daquela organização se baseia em pontos não considerados por muitos dos atores brasileiros:  a essencialidade de problemas concretos e a impossibilidade de reduzir a competência a seus componentes e a ênfase apenas em aspectos cognitivos.  Algum acordo conceitual é necessário.

  1. Alternativas conceituais

Além da abordagem por competência, pode-se considerar a alternativa de organização por objetivos de aprendizagem, usada nas experiências americanas, ou aquela defendida por  Michael Young, um sociólogo do currículo inglês que responde à questão: ‘Qual é o conhecimento a que os alunos têm direito?’ sugerindo uma organização disciplinar para as recomendações curriculares comuns de um país. Usa para apoiar sua posição o conceito de conhecimento poderoso.  Naturalmente todas estas opções se interconectam e não devem ser confundidas com opções sobre a pedagogia – a forma de ensinar – apropriada. O estudante do século 21 pede pedagogias ativas como: debates estruturados, discussões mediadas, discussão de eventos atuais, jogos cooperativos, aprendizagem baseada em projetos, aprendizagem pela participação em serviços

  1. Continuar o debate

Pessoalmente entendo que a solução para o problema dos conhecimentos inertes deve ser construída com a contribuição da noção de competência. No entanto, isso não resolve o problema de como organizar as recomendações curriculares comuns para os sistemas de ensino. Nos próximos meses é importante concentrar o debate na reorganização do ensino médio, considerando o que a lei que já estabelece.

Há uma parte obrigatória: Língua Portuguesa, Matemática e Língua estrangeira, constituída daquilo que todos os estudantes devem saber. Esta parte é continuação do Ensino Fundamental II, onde a organização por competências tem justificativas mais fortes, como mostra a experiência e os documentos do PISA, que é aplicado em estudantes, idealmente, no fim da educação obrigatória (que na maioria dos países é aos 15 ou 16 anos). A terceira parte do currículo do ensino médio preconizado pela lei consiste de uma parte específica – os itinerários propedêuticos e técnicos.  Nesta parte o estudante deve ser exposto às formas pelas quais o conhecimento é produzido e transferido, e não somente como é usado. Por isso, nesta etapa é fundamental a possibilidade de opção pessoal, diferentemente do Ensino Fundamental II, que deve ter muito claramente um núcleo comum.  Cada uma destas três etapas exige uma pedagogia específica.

  1. Coda

Termino reafirmando meu caveat inicial, desta vez com uma licença poética em um verso de Raul Seixas.  “E para aquele que mostrar que eu estou errado, eu tiro o meu chapéu”

  1. Referências

Crahay, M., & Marcoux, G. (2016). “Construir e mobilizar conhecimentos numa relação crítica com os saberes”. Cadernos de Pesquisa, 46(159), 260-273.

Figel, J. (2007). Key competences for lifelong learning-European reference framework. Luxembourg: Office for Official Publications of the European Communities. Retrieved May, 25, 2009.

Lave, J., & Wenger, E. (1991). Situated learning: Legitimate Peripheral Participation. Cambridge University Press.

OECD.  2006. PISA 2006 Technical Report.

OECD. 2018. The Future of Education and Skills – The Future we want.

Weinert, F. E. (2001).” Concept of competence: A conceptual clarification”. In Rychen, D. S. E., & Salganik, L. H. E. (2001). Defining and selecting key competencies (pp. 45- 65) Gottingen, Germany: Hogrefe & Huber

Whitehead, A. N. (1959). The aims of education. Daedalus, 88(1), 192-205.

Young, M. (2014). “Superando a crise na teoria do currículo: uma abordagem baseada no conhecimento”. Cadernos Cenpec| Nova série, 3(2).


(*) José Francisco Soares, matemático e estatístico, é professor aposentado da UFMG, membro do Conselho Nacional de Educação e ex-presidente do INEP.

A contribuição da educação para o progresso social

O International Panel for Social Progress  é uma iniciativa de tem reunido, desde 2015, centenas de cientistas sociais de todo o mundo em um esforço para pensar em que medida a pesquisa social pode dar respostas aos grandes desafios do século 21. O primeiro resultado deste trabalho está por ser publicado proximamente pela Cambridge University Press, em 3 volumes e 22 capítulos sob o título de Rethinking Society for the 21st Century e as versões preliminares dos textos estão disponíveis na Internet.

É com prazer que comparto a versão brasileira do capítulo 19, sobre A Contribuição da Educação para o Progresso Social, publicada pela revista Ciência & Trópico, e disponível na Internet.  O texto, que ajudei a coordenar, foi preparado por um grupo com participantes da África do Sul, Alemanha,  Austria, Brasil, Índia, Israel, e Reino Unido, e pretende identificar, primeiro, quais são as grandes funções que as sociedades esperam que a educação desempenhe – o desenvolvimento humanístico, a equidade  a coesão social  e o desenvolvimento econômico – e, o que as pesquisas sociais nos dizem sobre como a educação de fato tem contribuido ou pode contribuir para estes fins. Foi um esforço de colocar uma grande quantidade de ideias e informações em um texto relativamente pequeno, por um grupo constituido por pessoas de diferentes  formações e maneiras de ver o mundo. Cabe aos leitores dizer se conseguimos ou não cumprir bem a tarefa.

Crônicas da Crise: livros disponíveis na Amazon


Volume 1: Política, governo, sociedade e pobreza: Edição Kindle  / Livro impresso

Volume 2: Educação geral, média e profissional:  Edição Kindle / Livro impresso

Volume 3 – Educação Superior, ações afirmativas, pós-graduação, ciência e tecnologia:  Edição Kindle / Livro Impresso

Estes três livros, disponíveis em formato eletrônico e em papel na Amazon,  reúnem pequenos textos publicados na Internet ou em jornais e revistas entre 2004, quando as políticas sociais e educacionais do governo Lula começam a ganhar forma, e 2017, em meio a uma crise política, social e econômica profunda, em que todos se indagam, ou deveriam se indagar, sobre o que deu errado na experiência desse período, e que alternativas temos pela frente.  O crescimento da economia, a expansão dos gastos sociais, o vigor dos debates e das campanhas eleitorais, tudo isto criou a esperança, para muitos, de que o país finalmente estaria mudando de patamar, deixando de ser um país subdesenvolvido marcado pela pobreza, baixa produtividade econômica e instabilidade política, e se transformando em uma moderna democracia menos desigual e com uma população cada vez mais educada e produtiva.  A educação, crescendo em todos os níveis e envolvendo recursos cada vez maiores, seria o grande instrumento para este salto de qualidade.

Eu também compartia a esperança de que isto seria possível, mas, desde o início, vi com muitas reservas as políticas sociais e educacionais que foram adotadas pelos sucessivos governos de Lula e Dilma, não só pelos equívocos que procurava identificar, mas sobretudo pelo contexto político mais amplo em que estas políticas se davam, e que não permitiam que elas fossem diferentes do que foram. Participei, nesses anos, de diversos debates públicos sobre bolsa família, reforma universitária, política de cotas e a reforma do ensino médio, entre outros, sempre com a sensação de que, independentemente da qualidade dos argumentos, que não eram só meus, as decisões seguiam uma outra lógica na qual a pertinência das ideias não tinha muito lugar. Pode ser que a crise atual crie a oportunidade para construir uma nova lógica de implementação de políticas públicas, onde a evidência dos dados, o acúmulo de conhecimentos da literatura especializada e a força dos argumentos tenham mais espaço.

Ao longo destes anos, editei e publiquei vários livros e artigos, quase todos disponíveis no Internet Archive, aonde procuro tratar destes diferentes temas com mais detalhe e profundidade, mas que, pela sua natureza, não têm como transmitir o calor do debate destes textos menores. Para facilitar a leitura, dividi os textos em artigos em três volumes, o primeiro lidando com questões de política, governo, sociedade e pobreza; o segundo com questões de educação geral, média e profissional; e o terceiro com questões de educação superior, ações afirmativas, pós-graduação e ciência e tecnologia. Dentro de cada um, os textos estão agrupados por temas semelhantes, sem respeitar muito a ordem cronológica em que foram escritos.

Avaliação e monitoramento do Plano Nacional de Educação

A convite da Associação Brasileira de Avaliação Educacional, ABAVE, fiz a conferência de abertura de sua IX Reunião Anual em Salvador, cujo tema é a avaliação e monitoramento do Plano Nacional de Educação. O  Plano  foi sancionado como lei em junho de 2014, depois de um longo processo de discussões iniciado ao término do Plano 2001-2010, incluindo as Conferências Nacionais de Educação de 2010 e 2014. Tal como o Plano anterior, é um documento extremamente ambicioso, e, da mesma forma que o anterior, já existem fortes indicações de que estará longe de cumprir seu principal objetivo, que seria o de melhorar de forma significativa a qualidade e a equidade da educação brasileira.

Nesta minha apresentação, procurei mostrar que as dificuldades que o Plano encontra já eram previsíveis desde sua formulação, e se tornaram evidentes com a grande crise econômica, política e fiscal que o país vem enfrentando desde 2015. Estas dificuldades se originam da própria ideia de que um Plano Decenal como este seria o melhor instrumento para a melhorar a educação do país, e se tornaram ainda maiores pela maneira pela qual o plano foi elaborado e suas metas estabelecidas.

Na conclusão, lembrei que a lei que instituiu o PNE continua em vigor, apesar do não cumprimento da maioria de suas metas e do recente veto presidencial ao artigo 25 da Lei de Diretrizes Orçamentárias que alocava recursos federais para sua execução. Dada esta situação, qual deveria ser o papel da avaliação em seu acompanhamento? A avaliação não pode ser um simples monitoramento mecânico do cumprimento de metas quantitativas questionáveis e na maioria dos casos inatingíveis, mas um processo qualificado de revisão permanente dos objetivos buscados, de identificação de pontos de estrangulamento que precisam ser atacados, e, aí sim, do monitoramento detalhado de diversas intervenções para verificar se de fato elas cumprem os objetivos propostos ou se precisam ser modificadas. O horizonte de tempo deve variar conforme o tema, mas dez anos é certamente demasiado quando políticas claramente errôneas ou prejudiciais são identificadas.

O texto completo de minha apresentação está disponível aqui.

Wordpress Social Share Plugin powered by Ultimatelysocial