{"id":2502,"date":"2011-09-30T19:52:22","date_gmt":"2011-09-30T22:52:22","guid":{"rendered":"http:\/\/www.schwartzman.org.br\/sitesimon\/?p=2502"},"modified":"2014-08-06T21:03:25","modified_gmt":"2014-08-07T00:03:25","slug":"ruben-klein-os-equivocos-das-extrapolacoes-indevidas","status":"publish","type":"post","link":"https:\/\/www.schwartzman.org.br\/sitesimon\/ruben-klein-os-equivocos-das-extrapolacoes-indevidas\/","title":{"rendered":"Ruben Klein: Os equ\u00edvocos das extrapola\u00e7\u00f5es indevidas"},"content":{"rendered":"

Recebi v\u00e1rios coment\u00e1rios sobre a nota que publiquei a respeito da informa\u00e7\u00e3o misteriosa divulgada pelo O Estado de S\u00e3o Paulo, atribuida a Ricardo Paes e Barros, de que “dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calend\u00e1rio previsto \u2013 sem, portanto, o cancelamento de aulas por causa da falta de professores -, conseguem aumentar o aprendizado dos estudantes em 44%”, e que baseado nisto o Ministro da Educa\u00e7\u00e3o iria propor um aumento do n\u00famero obrigat\u00f3rio de dias letivos por ano nas escolas do pa\u00eds. Na minha nota, dispon\u00edvel aqui<\/a>, eu observava que, se isto fosse verdade, a educa\u00e7\u00e3o brasileira teria seus problemas resolvidos em poucos anos, sem precisar de melhorar a capacita\u00e7\u00e3o dos professores, equipar melhor as escolas, organizar e corrigir os curr\u00edculos, etc – um verdadeiro milagre! \u00a0De onde teria vindo este dado? O que o autor ao qual ele \u00e9 atribuido tem a dizer a respeito?<\/p>\n

O autor permanece em sil\u00eancio, mas os dados prov\u00eam de uma “meta-an\u00e1lise” feita h\u00e1 tempos para a Funda\u00e7\u00e3o Ayrton Senna, que procura consolidar os resultados de um grande n\u00famero de pesquisas sobre educa\u00e7\u00e3o feitas no Brasil e no exterior.<\/p>\n

Ruben Klein, um dos principais pesquisadores brasileiros na \u00e1rea de educa\u00e7\u00e3o, enviou o seguinte coment\u00e1rio sobre esta estimativa:<\/p>\n

“Entrei no site do Instituto Ayrton Senna e olhei os coment\u00e1rios sobre calend\u00e1rio escolar e n\u00e3o achei essa afirmativa dos 44%. Realmente, \u00e9 preciso cobrar de onde veio isso.<\/p>\n

Mas no site, sobre calend\u00e1rio escolar, vem destacado: “Impacto esperado: Aumentar em 29% o aprendizado anual”, tipo os 44%.<\/p>\n

Resultados de estudos de fora ou daqui, cheios de contextos expl\u00edcitos e n\u00e3o expl\u00edcitos, dependentes do modelo de an\u00e1lise utilizado, n\u00e3o podem ser transpostos para outros lugares e situa\u00e7\u00f5es e transformados em percentuais de desvios padr\u00e3o de outras avalia\u00e7\u00f5es, etc. Para mim, essas extrapola\u00e7\u00f5es n\u00e3o tem base cient\u00edfica.<\/p>\n

Um erro metodol\u00f3gico comum que se v\u00ea a toda hora \u00e9 falar em aumento percentual de desempenho, como os 44% de aumento. N\u00e3o d\u00e1. O percentual depende da escala considerada e dos valores arbitrados para a m\u00e9dia.<\/p>\n

Na escala de 0 a 100, um aumento de 44% para um aluno com nota 80 ou 100, ultrapassa o 100, obviamente um absurdo. Outros exemplos, um aumento de 20 para 40 \u00e9 100% de aumento. Um aumento dos mesmos 20 pontos de 80 para 100 \u00e9 um aumento de 25%.<\/p>\n

Outro exemplo, o SAEB tem uma escala \u00fanica para as s\u00e9ries. Um aumento de 44% para a m\u00e9dia dos alunos do 5\u00ba ano, em matem\u00e1tica, em 2009, cerca de 200, leva a m\u00e9dia para 288, um aumento de 88 pontos, ultrapassando a atual m\u00e9dia da 3\u00aa s\u00e9rie do EM. Para o EM, m\u00e9dia em cerca de 275, um aumento de 44% d\u00e1 um crescimento de 121 para 396. Observem que o aumento no EM \u00e9 muito maior que o do 5\u00ba ano. Vejam o milagre como bem o Simon observou. Ter\u00edamos alcan\u00e7ado as metas do Todos pela Educa\u00e7\u00e3o e as metas do IDEB.<\/p>\n

Outro exemplo, na escala do PISA. o Brasil tem uma m\u00e9dia em torno de 400. Um aumento de 44% leva a 576. Outro milagre. Passamos a Finl\u00e2ndia. Observem que 176 pontos equivalem a um aumento de 1,76 desvios padr\u00e3o do PISA.<\/p>\n

Os 29% d\u00e3o n\u00fameros menores, mas n\u00e3o muda o quadro.<\/p>\n

Outra afirma\u00e7\u00e3o que apareceu na imprensa foi sobre a redu\u00e7\u00e3o do n\u00famero de alunos na turma, que tamb\u00e9m d\u00e1 um percentual extraordin\u00e1rio de ganho no desempenho. Essa afirma\u00e7\u00e3o \u00e9 sobre um estudo no Tennessee, EUA. Transposto para a Calif\u00f3rnia, em escala global, foi um desastre.”<\/p>\n

Esta hist\u00f3ria ilustra bem um problema muito comum que ocorre quando pesquisadores chegam a determinados n\u00fameros aparentemente simples, mas estimados de forma prec\u00e1ria e duvidosa, e passam depois a querer adot\u00e1-los como base de pol\u00edticas p\u00fablicas de grande alcance. \u00a0O racioc\u00ednio parece ser que n\u00fameros permitem estabelecer metas e avaliar pol\u00edticas, e isto seria mais importante do que a qualidade e validade do n\u00famero em si. \u00c9 por isto que muitos insistem em definir uma linha de pobreza oficial para o Brasil, ou obrigar todas as escolas a colocar os resultados do IDEB nas portas, ou publicar nos jornais as avalia\u00e7\u00f5es das escolas, cursos superiores e universidades baseadas nas m\u00e9dias do ENEM ou no “conceito preliminar de cursos” calculado pelo INEP.<\/p>\n

Estes abusos no uso de n\u00fameros alimentam os argumentos de muitos que dizem que a educa\u00e7\u00e3o \u00e9 importante demais para ser reduzida a n\u00fameros, e acabam se opondo a qualquer tipo de avalia\u00e7\u00e3o e mensura\u00e7\u00e3o de resultados. \u00a0Eu certamente n\u00e3o penso assim, mas \u00e9 importante que os n\u00fameros sejam utilizados como instrumentos de apoio para o entendimento da realidade, e n\u00e3o como seu substituto, um \u00a0feitiche que esconde e deforma, mais do que revela e nos ajuda a entender<\/p>\n","protected":false},"excerpt":{"rendered":"

Recebi v\u00e1rios coment\u00e1rios sobre a nota que publiquei a respeito da informa\u00e7\u00e3o misteriosa divulgada pelo O Estado de S\u00e3o Paulo, atribuida a Ricardo Paes e Barros, de que “dez dias a mais de aula por ano, seja pelo aumento do ano letivo, seja pelo efetivo cumprimento do calend\u00e1rio previsto \u2013 sem, portanto, o cancelamento de … Continue reading “Ruben Klein: Os equ\u00edvocos das extrapola\u00e7\u00f5es indevidas”<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[22],"tags":[],"class_list":["post-2502","post","type-post","status-publish","format-standard","hentry","category-educacao"],"_links":{"self":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/2502","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/comments?post=2502"}],"version-history":[{"count":3,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/2502\/revisions"}],"predecessor-version":[{"id":4932,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/posts\/2502\/revisions\/4932"}],"wp:attachment":[{"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/media?parent=2502"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/categories?post=2502"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.schwartzman.org.br\/sitesimon\/wp-json\/wp\/v2\/tags?post=2502"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}