Cláudio de Moura Castro escreveu a seguinte nota, com o título de “Pena que meu livro de método científico já tenha sido publicado!”
Nos dias 8 e 9 de fevereiro o Estadão publicou duas matérias sobre educação. Se a publicação tivesse sido há um ano atrás, ambas estariam incluídas, como exemplos, na nova edição do meu livro A prática da pesquisa (Rocco). Infelizmente para o Estadão, seriam exemplos de erros clássicos na interpretação de dados.
O SAEB
No dia 9, a matéria mostra uma queda nos escores do SAEB, desde 1995 até o presente. Várias tabelas indicam curvas decrescentes para as pontuações. Os gráficos parecem não deixar dúvidas quanto à queda.
Em 1954, Darrell Huff publicou um livro que virou um clássico. Há novas edições à venda e os cursos de estatística aplicada ou métodos de pesquisa o citam ou citam idéias dele derivadas. O livro chama-se How to lie with Statistics (Como mentir com estatísticas). Seu principal objetivo é mostrar como são manipuladas as apresentações gráficas das estatísticas, com o objetivo de demonstrar aos incautos a tese do autor, seja para dar a impressão de grandes variações, seja para minimizá-las.
Um dos principais truques é manipular a escala dos eixos. Se usamos uma escala onde as variações são medidas por distâncias pequenas, parece que houve pouca mudança. Se são medidas por espaços grandes, parece que há alterações dramáticas nos dados.
No caso, as tabelas apresentadas amplificam as variações observadas, mediante o estratagema de apresentar uma escala expandida no eixo vertical. É fácil desmascarar o truque, bastando notar que o rendimento zero não aparece na tabela. Na altura do eixo horizontal, a pontuação já é de 170. Se o eixo horizontal fosse deslocado para baixo, até chegar ao zero, a tabela se espicharia pela página do jornal abaixo.
Essa tabela gigantesca – ou uma outra menor com a mesma proporcionalidade – mostraria resultados bem diferentes. Uma queda de dez pontos no SAEB significa uma queda de apenas 5% na pontuação. E é dessas ordens de variações que estamos falando. Variações de 5% estão dentro das margens de erro, resultantes da imprecisão dos testes e de seus mecanismos de comparabilidade. Ou seja, o SAEB não parece mostrar uma queda estatisticamente significativa.
Ofensas racistas
Fomos também brindados com uma matéria mostrando como as ‘ofensas racistas afetam o desempenho escolar’. O artigo sumaria uma pesquisa da Unesco. Como leitor do jornal, temos o direito de julgar o que foi publicado. Se os erros porventura encontrados são da Unesco ou da resenha, não é nosso problema.
Em resumo, os seguintes argumentos foram apresentados.
1. As crianças negras são alvos de ‘apelidos, comentários discriminatórios e ofensas’ nas escolas brasileiras. A matéria cita exemplos de tais situações.
2. Como resultado, há uma diferença de pontuação entre brancos e negros nos testes escolares, com ampla desvantagem para os negros. Ou seja, a discriminação causa prejuízos nos resultados escolares dos negros.
Os manuais de metodologia científica nos advertem contra o erro conhecido como post hoc, ergo propter hoc que significa simplesmente, ‘se vem depois terá sido causado por’. Como há racismo, este será o culpado pelas diferenças entre brancos e negros. O erro é que associações desse tipo não demonstram causação. A causa pode estar em outras bandas.
É hipoteticamente possível que as ironias e ofensas possam levar a um desempenho inferior dos negros. Mas há que demonstrar que é isso e não muitas outras possíveis causas. Como tal não foi feito, não ficou demonstrada a tese.
Uma das possíveis hipóteses é mencionada – e desprezada – no último parágrafo. Por tudo que sabemos, o mais forte determinante dos resultados escolares é bastante bem capturado pela educação dos pais. É a qualidade da experiência escolar prévia, é o ‘capital intelectual’ da família e diversas outras variáveis que militam para reduzir o rendimento acadêmico dos pobres. Quando comparamos alunos cujos pais têm a mesma escolaridade, as diferenças de pontuação entre brancos e negros diminuem enormemente. Isso porque, em média, os pais dos alunos negros têm menos escolaridade do que os dos brancos. Portanto, grande parte das diferenças de rendimento dos negros não são devidas ao tratamento que recebem dos colegas, mas do fato de serem pobres.
Mas as diferenças não desaparecem apenas controlando escolaridade dos país. O que sobra, bem menos, pode resultar dos apelidos e comentários. Pode também resultar de uma auto-imagem negativa, herdada dos pais ou de muitos outros fatores. Mas também pode resultar da nossa incapacidade estatística para capturar toda a ‘cultura da pobreza’, devido às imperfeições de medidas como educação dos pais. Por exemplo, verificou-se nos Estados Unidos que quando controlamos não a escolaridade mas a pontuação dos pais em testes de rendimento escolar, as diferenças entre raças desaparecem.
Em outras palavras, a afirmativa de que ‘ofensas racistas afetam o desempenho escolar’ é uma excelente manchete para uma matéria de jornal. Infelizmente, não é uma afirmativa confirmada pela evidência mostrada. Pelo contrário, há falhas graves na argumentação.
Eu sugiro ao Claudio Moura Castro, três outros exemplos de como enganar leitores: o primeiro é usar percentual de percentual, quando convier; o segundo é, em um gráfico, unir dois anos de uma série anual, quando há um ou mais anos intercalando-os sem que haja informação sobre eles (com isso o ano para o qual inexista a informação parecerá estar dentro da tendência observada); o terceiro é iniciar a comparação entre dois períodos, no ano em que o período que você deseja favorecer começa a reduzir ou aumentar. Não é coisa de jornalista: os três erros foram cometidos na página inicial de um trabalho acadêmico recente de um PhD.