Escreve Francisco Soares:
Uma contribuição ao debate
Nos últimos dias tenho trocado algumas mensagens sobre a amostra do PISA. Ontem baixei os micro-dados do PISA e, depois de uma proveitosa troca de emails com o Ruben Klein, gostaria de colocar as seguintes informações à disposição de todos como contribuição ao debate.
- Embora os documentos do PISA digam que o exame é para alunos de quinze anos, o critério para inclusão é ter nascido em um dado ano. Para o PISA de 2012 o critério foi ter nascido em 1996. Em outras palavras, a população alvo são os alunos que completaram quinze anos em algum dia do ano de 1996.
 - Como o teste no Brasil ocorreu entre 20 e 30 de maio de 2012, os alunos brasileiros que satisfazem o critério tem entre 16 anos e cinco meses – os que nasceram em 01/01/1996 – e 15 anos e 5 meses – os que nasceram em 31/12/1996.
 - Usando os dados do Censo Escolar de 2011 busquei saber em que séries – ou anos escolares – estão os alunos que satisfazem aquele critério de idade. Encontrei os seguintes resultados:
 
| 
 
  | 
 ANO ESCOLAR  | 
 % ALUNOS Censo 2011  | 
| 
 -1  | 
 Ensino Médio – 1° Ano  | 
 27,6  | 
| 
 0  | 
 Ensino Médio – 2° Ano  | 
 31,3  | 
| 
 1  | 
 Ensino Médio – 3° Ano  | 
 2,1  | 
| 
 -2  | 
 Último Ano Fundamental  | 
 12,6  | 
| 
 -3  | 
 Penúltimo Ano Fundamental  | 
 7,4  | 
| 
 
  | 
 Outras Séries  | 
 18,8  | 
Importante observar que estes são os alunos matriculados e, portanto, cujos dados estão disponíveis. No Brasil, há naturalmente alunos dessa faixa etária fora da escola.
- Aceitando o critério do PISA que exclui os alunos que estão em séries diferentes das cinco da tabela anteriror e redistribuindo os restantes obtemos a seguinte distribuição entre os anos escolares:
 
| 
 
  | 
 ANO ESCOLAR  | 
 Censo 2011  | 
 PISA – Grade  | 
| 
 -1  | 
 Ensino Médio – 1° Ano  | 
 34,1%  | 
 35,1  | 
| 
 0  | 
 Ensino Médio – 2° Ano  | 
 38,6%  | 
 38,3  | 
| 
 1  | 
 Ensino Médio – 3° Ano  | 
 2,6%  | 
 3,8  | 
| 
 -2  | 
 Último Ano Fundamental  | 
 15,5%  | 
 14,1  | 
| 
 -3  | 
 Penúltimo Ano Fundamental  | 
 9,2%  | 
 8,7  | 
A coluna denominada PISA – GRADE foi construída com a variável que está na base do PISA e que informa em que ano-escolar a partir do ano modal estão os diferentes alunos. Nota-se uma concordância entre as duas fontes.
- Diante disso os eventuais problemas que a amostra do PISA tem não se referem à distribuição entre os anos-escolares. Eu fui induzido a pensar de forma diferente até aqui pela insistência de todos os materiais de divulgação que sugerem que o PISA trata com alunos de quinze anos. Na realidade seria mais coreto dizer que esse exame considera alunos 16 anos. Esta mudança torna os resultados obtidos completamente compreensíveis. A média de idades dos alunos brasileiros na amostra é parecida com as médias dos demais países.
 - Pessoalmente eu gostaria de saber qual foi o desempenho no ENEM dos alunos das escolas escolhidas para compor a amostra do PISA de forma a poder avaliar se os alunos que satisfazem o critério de idade estão distribuídos em escolas que cobrem toda a diversidade escolar brasileira.
 - Se meus cálculos resistirem ao escrutínio, entendo que há ainda um tema que precisa ser esclarecido: a comparabilidade entre os resultados de 2000 – 2006 com os resultados de 2009-2011 que estão sendo usados para dizer que o Brasil é o que mais melhorou.
 
Simon Schwartzman e Chico Soares:
Boa noite! Como o Chico gostaria de ter acesso as notas do Enem do segmento de alunos amostrados, supus que poderia haver um viés entre os amostrados: melhores alunos no Enem…
Ou não?
Chico e demais,
Eu ainda tenho dúvidas sobre o andamento da educação brasileira em uma comparação internacional:
a) qual a série esperada para pessoas de 15 ou de 16 anos, ou não existe série esperada, apenas a série na qual, em um determinado momento do tempo, há mais pessoas matriculadas?
Mesmo que isso seja fácil de compreender entre países, é complicado deixar passar de uma edição para outra, em relação ao mesmo país. Isso não dificulta reivindicações de parâmetros claros?
b) embora ainda estejamos implementado lei obriga alunos de 4 anos a estarem na escola, há muitos anos que um contingente considerável desta idade já frequenta escola. O PISA deixa claro nos relatórios que não faz diferença o tipo de escola que se frequenta, desde que o aluno esteja acima do 7th grade. Então o que é 7th grade? Embora a sua tabela seja claríssima, não é assim que os dados são apresentados. Teríamos que ter um relatório brasileiro mais claro e, como vc disse, uma explicação mais convincente para acreditar que o Brasil está mesmo acelerado em relação ao mundo.