Chico Soares: qual desempenho é adequado nos testes da Prova Brasil?

Escreve José Francisco Soares, do Conselho Nacional de Educação:

O governo federal, ao divulgar, na semana passada, os resultados da Prova Brasil,  dividiu  as notas  dos estudantes em três níveis referidos como: Insuficiente, Básico e Adequado.  Ao usar adjetivos com claras interpretações pedagógicas, busca facilitar o uso dos dados para o planejamento pedagógico das escolas e das redes de ensino, assim como a comunicação com a sociedade. 

No entanto, as escolhas de pontos de corte que definiram os níveis  produziram  uma mudança drástica no  diagnóstico da realidade educacional brasileira. Experiencias consideradas exemplares até 2017 se tornaram fracassos com a nova metodologia. Por exemplo,  a cidade de Sobral, que era considerada exemplo nacional, passou a ter apenas 13,4% dos alunos com  aprendizado adequado em língua portuguesa, ao invés de 79,8 % em 2015. 

Na realidade não ocorreu nenhum desastre educacional nos últimos dois anos, mas apenas a introdução de uma forma  equivocada de sintetizar os dados da Prova Brasil. 

A classificação das notas dos estudantes em níveis exige basicamente a definição de pontos de corte na escala usada para expressar as notas. Para estas escolhas, a técnica usada internacionalmente consiste, primeiramente, em  ordenar por nível de dificuldade os itens usados no teste. A seguir um painel de professores, depois de informados sobre quantos níveis serão criados e a função  pedagógica esperada de cada um,  escolhem  os pontos de cortes, primeiramente, de forma individual e depois em grupos. Várias rodadas de discussão são usualmente necessárias para a criação de um  consenso.

Infelizmente, a pesquisa necessária para o uso desta métrica ainda não foi feita de forma definitiva no Brasil, apesar de grandes avanços recentes. Diante disso, a definição de valores de referência para a escala do SAEB tem sido feita de forma comparativa. Tanto na definição de metas para o IDEB, como as metas do movimento “Todos pela Educação”, quanto para a criação de níveis nos sistemas de avaliação estaduais,  utilizou-se a experiência brasileira no  PISA. Basicamente, mediu-se  o aumento  necessário  no desempenho obtido pelos estudantes brasileiros no PISA para que  as notas do conjunto de estudantes brasileiros tivessem a mesma distribuição estatística que a dos estudantes de um país típico da OECD.  Este aumento, transformado em desvios-padrão, é utilizado para criar a distribuição de referência na escala do SAEB. Nesta distribuição escolheu-se,  por consenso pedagógico,  o ponto de 70% para definir o ponto de corte do nível adequado. Dois outros pontos de corte  adicionais foram escolhidos, definindo-se quatro níveis: abaixo do básico, básico, adequado e avançado. Os níveis assim obtidos vêm sendo usados há anos em artigos, por muitos sistemas de ensino, em plataformas de acesso aos dados e por setores da sociedade civil. No entanto, é importante registrar que outras escolhas poderiam ser feitas.

Para a divulgação dos dados referentes à Prova Brasil de 2017, o  governo federal optou por trabalhar com uma divisão estatística de níveis feita  sem comparação externa. Em seguida, arbitrou, sem nenhuma  justificativa, valores para os pontos de corte muito maiores do que os que tem sido praticados.  Como consequência, a nova síntese sugere que os resultados em Língua Portuguesa são melhores do que os resultados em Matemática, em completo desacordo com o que vem sido aceito, que é que os resultados de aprendizagem de todos estudantes brasileiros estão em níveis catastróficos. 

Usar evidências empíricas em relação aos resultados educacionais: acesso, permanência na escola e aprendizado, assim como indicadores das condições das escolas, é fundamental para a melhoria da educação. Mas isso exige a criação de consensos baseados em análises compartilhadas dos dados.  O trabalho que vem sendo feito nessa direção mostra que o sistema educacional tem sérios problemas no aprendizado de seus estudantes, assim como de condições de funcionamento. Mas uma mudança abrupta de metodologia não ajuda no debate.

O governo federal deveria  usar a oportunidade para não só corrigir o diagnóstico apresentado  como também  para iniciar um processo, baseado na literatura internacional e conduzido por especialistas e professores,  que defina e interprete níveis de referência oficiais para a análise dos dados de aprendizado obtidos pela  Prova Brasil.

Chico Soares: Contribuição para o debate sobre competências

Contribuição para o debate sobre competências

CHICOsoares (*)

  1. Caveat

Mineiro e escaldado, entro no debate sobre competências com uma nota de precaução. Andrei Sakharov, cientista e prêmio Nobel da Paz, disse certa vez que ideias transformadoras aparecem apenas através de debates, nos quais há longa sequência de troca de argumentos, e nos quais seus participantes expressam tanto ideias já solidamente justificadas, como também dúvidas, perguntas e propostas de soluções ainda em estágio inicial de formulação.  Sei que isso é muito difícil de acontecer hoje no Brasil, um país dividido em tudo, mas assumo que isso é verdade nessa discussão.

  1. Este debate é necessário

O tema da competência é importante. Afinal o uso desta opção de organização do trabalho pedagógico é uma das respostas possíveis para o problema dos conhecimentos inertes, usualmente associados com o texto The aims of Education de Alfred Whitehead. O autor diz que a inclusão de itens no currículo escolar deve ser baseada na sua relevância para a vida dos estudantes.  Crachay e Marcoux, em um texto construído em uma tradição muito crítica ao uso de competências na educação, reconhecem a importância nessa dimensão.

  1. Polissemia

Não há na literatura uma definição consensual do conceito de competência. Diferentes atores usam este termo com sentidos similares, mas cujas diferenças tem impactos pedagógicos. O conceito adotado mais amplamente no Brasil não é o mesmo adotado pelo PISA e OCDE, a definição mais influente no debate mundial educacional

  1. Definição – OCDE

Para a organização do PISA, a OCDE organizou um grupo de trabalho: DeSeCo – Defining and Selecting Key Competencies. O artigo de Weinert (2001) conclui que “não existe uma definição única do confeito de competência aceita amplamente nem uma teoria latente”. Assim sua recomendação, aceita por muitos, foi adotar uma definição funcional do conceito. Para ele,

“Competência é a capacidade atender com êxito demandas complexas em um contexto particular, através da mobilização de pré-requisitos psicossociais (incluindo aspectos cognitivos e não-cognitivos. Esta definição foi também adotada pela União Europeia que define competência como uma combinação de conhecimentos, habilidades (skills) e atitudes exigidas pelo contexto”.

Esta definição foi recentemente reafirmada pela OCDE no texto The Future of Education and Skills – The Future we want.

Há três polos nessa definição: contexto específico, mobilização e diversidade de recursos: conhecimentos, habilidades e atitudes. Nessa definição, o foco principal do conceito está nas ações, escolhas e maneira de se comportar com que cada pessoa enfrenta os problemas que a vida lhe põe.

  1. Nomenclatura

Nesta abordagem, as palavras “skill”e “competence”, traduzidos usualmente para o português do Brasil como habilidade e competências, referem-se a conceitos diferentes, ainda que associados. O relatório do DeSeCo é enfático ao afirmar que “nem os componentes cognitivos nem os aspectos motivacionais isoladamente constituem uma competência. Por exemplo, habilidades (skills) de pensamento crítico, habilidades analíticas, capacidade de solução de problemas gerais, ou persistência não são competências, porque não descrevem uma resposta individual completa a uma demanda específica.Constituem, no entanto, elementos valiosos, se não indispensáveis de competência de ação.” A ideia de que o conceito de competência está associado à capacidade de resolver problemas específicos e complexos, como são os da vida cotidiana, tem consequências tanto na organização do ensino como da avaliação

  1. Avaliação de Competências

O PISA é organizado por competências e, por isso, a OECD desenvolveu documentos conceituais que descrevem as competências que avalia: Leitura, Matemática e Ciências. Importante para o debate brasileiro notar que o PISA não descreve estas competências como um conjunto de habilidades.  Os itens incluídos nos testes do PISA são escolhidos analisando a relevância da tarefa proposta e sua adequação para expressar a competência a ser testada. Aceita a sua relevância, a etapa seguinte do processo de produção do item envolve uma análise detalhada do item para a identificação dos conhecimentos e habilidades necessários para que os estudantes produzam a resposta correta.  Ou seja, o PISA trabalha indo do conceito de competência para o de habilidades. A discussão no Brasil se organiza da forma oposta. Com frequência a instrução para a construção do item é o texto da habilidade.

  1. Ensino por Competências

A opção por organizar por competências tem claro impacto na organização do ensino. Como consequência lógica da sua definição, o ensino organizado por competências deve ser organizado através da exposição dos estudantes a situações reais que exigem determinados conhecimentos, habilidades, atitudes e o discernimento possibilidade pelos valores.  Isso foi formalizado com a abordagem pedagógica denominada “situated learning theory”, introduzida por Lave e Wenger (1991),  que preconiza que qualquer conhecimento é criado apenas pela participação dos estudantes em ações concretas em diferentes contextos.

  1. Vocabulário comum

Na forma atual do debate, o termo competência é usado por diferentes atores e textos legais e normativos com sentidos diferentes. Como argumentado acima, a posição da OEDC não pode ser usada para justificar todas as posições no nosso debate, já que a definição daquela organização se baseia em pontos não considerados por muitos dos atores brasileiros:  a essencialidade de problemas concretos e a impossibilidade de reduzir a competência a seus componentes e a ênfase apenas em aspectos cognitivos.  Algum acordo conceitual é necessário.

  1. Alternativas conceituais

Além da abordagem por competência, pode-se considerar a alternativa de organização por objetivos de aprendizagem, usada nas experiências americanas, ou aquela defendida por  Michael Young, um sociólogo do currículo inglês que responde à questão: ‘Qual é o conhecimento a que os alunos têm direito?’ sugerindo uma organização disciplinar para as recomendações curriculares comuns de um país. Usa para apoiar sua posição o conceito de conhecimento poderoso.  Naturalmente todas estas opções se interconectam e não devem ser confundidas com opções sobre a pedagogia – a forma de ensinar – apropriada. O estudante do século 21 pede pedagogias ativas como: debates estruturados, discussões mediadas, discussão de eventos atuais, jogos cooperativos, aprendizagem baseada em projetos, aprendizagem pela participação em serviços

  1. Continuar o debate

Pessoalmente entendo que a solução para o problema dos conhecimentos inertes deve ser construída com a contribuição da noção de competência. No entanto, isso não resolve o problema de como organizar as recomendações curriculares comuns para os sistemas de ensino. Nos próximos meses é importante concentrar o debate na reorganização do ensino médio, considerando o que a lei que já estabelece.

Há uma parte obrigatória: Língua Portuguesa, Matemática e Língua estrangeira, constituída daquilo que todos os estudantes devem saber. Esta parte é continuação do Ensino Fundamental II, onde a organização por competências tem justificativas mais fortes, como mostra a experiência e os documentos do PISA, que é aplicado em estudantes, idealmente, no fim da educação obrigatória (que na maioria dos países é aos 15 ou 16 anos). A terceira parte do currículo do ensino médio preconizado pela lei consiste de uma parte específica – os itinerários propedêuticos e técnicos.  Nesta parte o estudante deve ser exposto às formas pelas quais o conhecimento é produzido e transferido, e não somente como é usado. Por isso, nesta etapa é fundamental a possibilidade de opção pessoal, diferentemente do Ensino Fundamental II, que deve ter muito claramente um núcleo comum.  Cada uma destas três etapas exige uma pedagogia específica.

  1. Coda

Termino reafirmando meu caveat inicial, desta vez com uma licença poética em um verso de Raul Seixas.  “E para aquele que mostrar que eu estou errado, eu tiro o meu chapéu”

  1. Referências

Crahay, M., & Marcoux, G. (2016). “Construir e mobilizar conhecimentos numa relação crítica com os saberes”. Cadernos de Pesquisa, 46(159), 260-273.

Figel, J. (2007). Key competences for lifelong learning-European reference framework. Luxembourg: Office for Official Publications of the European Communities. Retrieved May, 25, 2009.

Lave, J., & Wenger, E. (1991). Situated learning: Legitimate Peripheral Participation. Cambridge University Press.

OECD.  2006. PISA 2006 Technical Report.

OECD. 2018. The Future of Education and Skills – The Future we want.

Weinert, F. E. (2001).” Concept of competence: A conceptual clarification”. In Rychen, D. S. E., & Salganik, L. H. E. (2001). Defining and selecting key competencies (pp. 45- 65) Gottingen, Germany: Hogrefe & Huber

Whitehead, A. N. (1959). The aims of education. Daedalus, 88(1), 192-205.

Young, M. (2014). “Superando a crise na teoria do currículo: uma abordagem baseada no conhecimento”. Cadernos Cenpec| Nova série, 3(2).


(*) José Francisco Soares, matemático e estatístico, é professor aposentado da UFMG, membro do Conselho Nacional de Educação e ex-presidente do INEP.