Simon's Site

Enquanto isto… (a Democracia dos Tolos)

Ninguém deu muita importância à notícia de que vai haver um plebiscito no Maranhão para dividir o Estado em dois, e que esta decisão republicana e democrática, de ouvir o povo, é de inspiração do Senador Sarney, eleito também democraticamente pelo Amapá, aonde nunca viveu, e cujo grupo está ameaçado de perder definitivamente o controle sobre o velho Maranhão. Com o novo Estado a ser criado, teremos mais um governador, vice-governador, três senadores, deputados federais, uma nova assembléia legislativa estadual e não sei quantas secretarias, tribunal de contas, e muitos empregos públicos, todos a serem distribuidos pelo clã Sarney a seus amigos e associados.

Esta generosidade democrática com o dinheiro público é uma reedição tardia da orgia de criação de novos municípios ocorrida nos anos 90 em todo o país. O mecanismo era parecido. Organizava-se um plebiscito, o povo votava pela criação do novo município, que criava sua câmara de vereadores, etc., e passava a ser sustentado com um novo rateamento do dinheiro do Fundo de Participação dos Municípios. O município que era desmembrado, digamos, em duas partes, não perdia 50% dos seus recursos, mas somente uma pequena parcela, da mesma forma que os demais no Estado, em função do novo rateamento do dinheiro, mas, em compensação, passava a ter muito menos gente a quem atender. Então, o negócio era seguir desmembrando os municípios, e brigar para que o Fundo de Participação continuase a sustentá-los.

Em uma verdadeira democracia, a autonomia de estados e municípios deve estar associada à capacidade que eles tenham de gerar recursos através de impostos, e a uma avaliação de se esta é, realmente, a maneira pela qual preferem gastar seus impostos. Em nossa democracia de tolos, todos votam e participam alegremente, e depois mandam a conta para a viúva.

Rumo certo na Educação

É bom poder dizer, depois de tantos anos de críticas, que o governo Lula está apontando no rumo certo com o “pacote” educacional anunciado ontem.

Três coisas, sobretudo, me chamam a atenção. A primeira é reconhecer, claramente, que os problemas da educação brasileira estão dentro da escola, e não fora dela. Parece óbvio, mas a ênfase até aqui tinha sido em campanhas de alfabetização, educação de jovens e adultos e cotas raciais, políticas de resultados duvidosos e que não lidavam diretamente com o que passa dentro do sistema de ensino. Agora, a ênfase é nas escolas e redes locais, que passam a receber estímulos e apoio em função dos resultados da educação que proporcionam.

A segunda é a exigência de que todas as crianças até 8 anos sejam alfabetizadas, associada a uma “provinha” de alfabetização a esta idade. Antigamente, as crianças que não se alfabetizavam repetiam a primeira série, e terminavam muitas vezes por abandonar a escola sem aprender. Com a introdução dos ciclos longos, para reduzir a repetência, surgiu a idéia totalmente equivocada de que as crianças não deveriam ter metas e prazos claros para se alfabetizar. Agora é possível ir adiante. Não se trata de voltar à repetência, mas de formar os professores para que utilizem os métodos adequados para que todas as crianças se alfabetizem na idade correta, como em outras partes do mundo.

A terceira é a extensão do bolsa escola para os jovens de 16 e 17 anos. Anos atrás, fiz uma análise que mostrava claramente que a bolsa educação, assim como sua sucessora, a bolsa família, era praticamente inóqua do ponto de vista educacional, porque as crianças até 14-15 anos de idade normalmente ficavam na escola com ou sem bolsa, e a deserção começava a partir daí, quando as bolsas deixavam de existir (o texto pode ser visto aqui). Agora, finalmente, o grupo crítico está recebendo a atenção que necessita.

Tudo vai depender, naturalmente, da implementação, e existem ações sobre as quais tenho dúvidas – como, por exemplo, de apoiar as universidades públicas em função de sua expansão e introdução de cursos noturnos, sem referência a conteúdos e à qualidade do que é ensinado. Mas há uma evidente disposição de ouvir, corrigir rumos e acertar, e isto é o mais importante.

O Enigma do ENADE (2)

Estive revendo as informações disponíveis sobre o ENADE, para um texto que deve ser publicado brevemente (a versão preliminar está aqui). O quadro ao lado, referente aos cursos de medicina nos dois exames, mostra algo que eu já havia assinalado, que é que os resultados do ENADE são em geral muito mais altos do que os do Provão.

O que eu não havia entendido claramente antes é que estes resultados se explicam pela maneira pela qual os conceitos finais do ENADE são calculados. O INEP soma os conceitos da prova de conhecimentos específicos dos alunos que entram com o dos alunos que saem, e ainda com os resultados médios de todos, que entram e saem, na prova geral. As provas têm pesos diferentes – 15%, 60% e 25%, respectivamente.

Isto é muito curioso, porque a idéia, ao examinar alunos que entram e que saem, era ver quanto os cursos adicionavam de conhecimentos aos alunos ao longo dos anos, descontando o efeito da qualificação inicial, ou seja, subtraindo um do outro. Assim, por exemplo, se os alunos que entram tivessem o conceito 30, e ao sair o conceito 80, o ganho seria de 50: mas, se os alunos entrassem com 70, e terminassem com 80, o ganho seria só de 10, e o primeiro curso seria considerado muito melhor do que o outro. Como o ENADE soma os dois resultados, o segundo curso acaba tendo um resultado final melhor, porque os alunos já entram mais qualificados (não usei os pesos nas continhas acima para simplificar).

Não encontrei nenhuma explicação de porque o ENADE faz isto, mas a consequência é clara: a avaliação tende a favorecer as instituições mais seletivas, em geral públicas, e prejudicar as que recebem alunos com pior formação, em geral privadas. Enquanto o provão só media o resultado final, e por isto era criticado, o ENADE piora a situação; só dá um peso de 60% ao resultado, final e dá um bonus às instituições mais seletivas.

O relatório técnico do ENADE 2005, disponível no site do INEP, apresenta um esforço interessante de calcular o valor adicionado pelos cursos em função das características dos alunos que entram, como deve ser. Mas os resultados só são mostrados de forma agregada, não por cursos, e é impossível interpretar o sentido dos números que são apresentados. Que significa, por exemplo, dizer que determinados cursos acrescentam 5, 10 ou 20 pontos aos alunos ao longo de 4 anos? Isto é satisfatório, muito ruim, ou ótimo? Justifica ou não o tempo e dinheiro investidos, dos alunos e da sociedade?

O ENADE tem outros problemas metodológicos graves, que eu discuto no meu texto. A impressão clara é que são vícios de origem e concepção, que não têm como ser sanados por análises estatísticas posteriores, embora competentes.

Laura Randall e Maria Ligia Barbosa: O impacto da cor na educação

Laura Randall e Maria Lígia Oliveira Barbosa acabam de publicar os resultados de uma importante pesquisa sobre “O impacto da cor sobre o desempenho dos estudantes segundo as características da família e o contexto da escola”, realizada em Belo Horizonte, que está disponível no site do Brazilink

Este é o resumo do estudo (escrito pelas autoras, mas editado por mim):

O artigo focaliza o impacto das condições sócio-econômicas, da cor do estudante e de variáveis escolares sobre as notas em linguagem e matemática dos estudantes de 4ª série em escolas municipais e estaduais de Belo Horizonte, Minas Gerais. Examinam-se os fatores que poderiam explicar os escores 8% mais elevados entre os brancos em relação àquele dos não-brancos, analisando o impacto da condição sócio-econômica da família, da escolaridade média dos membros da família, inclusive os pais, as condições socioeconomicas da família, da média dos estudantes na sala de aula, e outros fatores.

Observa-se que a cor do estudante é mais importante que o nível sócio-econômico para o desempenho em matemática para os indivíduos, mas a condição sócio-econômica média na sala de aula tem poder explicativo maior. O impacto da cor no desempenho do estudante em matemática decresce quando as características da família, percepção do diretor sobre os obstáculos ao aprendizado, características do diretor e estilo de gestão são incluídos. Mas aumenta quando variáveis relativas à participação da comunidade no planejamento escolar, às características da professora e da diretora, ao estilo docente e às características físicas da escola são incluídas. Padrão similar foi encontrado para notas em linguagem, com exceção das variáveis familiares e uso de estilo docente construtivista, que diminuem o impacto da cor no desempenho do estudante e aumenta esse desempenho nas classes que se situam no terço inferior do desempenho médio em linguagem.

Os achados foram consistentes com a hipótese inicial de que o impacto da cor difere segundo o aspecto da escolarização que se considera e de acordo com as categorias, individuais ou agrupadas, que se analisa. Numa interpretação panorâmica, podemos dizer que as condições socioeconômicas foram mais relevantes que a cor no caso os dados sobre educação em Belo Horizonte, tanto para as características individuais quanto para a média dessas características na sala de aula. O resultado sugere que políticas públicas deveriam focalizar nas condições sócio-econômicas – no caso, habitação, que é o maior componente do indicador de condição social no nosso survey – tanto quanto na dimensão educacional: o ponto a destacar, em relação a essas políticas públicas, seria a identificação de elementos do funcionamento das escolas e dos métodos didáticos que podem reduzir ou aumentar o impacto da cor sobre o desempenho dos estudantes.

Jacques Schwartzman: ainda a “relevância social” de cursos superiores

O jornal O Estado de Minas publicou no dia 19 de fevereiro o seguinte artigo, de Jacques Schwartzman, professor da UFMG:

A recém editada Portaria 147 do MEC estabelece novos procedimentos para a abertura de Cursos de Direito e de Medicina, dentre elas a “demonstração de relevância social, com base na demanda social” e observados parâmetros de qualidade e no caso da Medicina “a demonstração de integração do Curso com a gestão local e regional do Sistema Único de Saúde”. Ambos os cursos ser também avaliados pela OAB e pelo Conselho Nacional de Saúde.

Esta Portaria, aparentemente, reflete o entendimento de que há cursos em excesso e muitos de má qualidade nestas áreas. Mas isto não acontece também em outras áreas tais como Administração e Educação ? Para entender a motivação da Portaria só mesmo se valendo da força da OAB e do CNS que notoriamente tem se destacado na defesa de seus interesses corporativos.

A outra questão é a de se indagar porque existe um mesmo tratamento para cursos do setor público e privado. Para os primeiros vale a preocupação com a relevância social pois trata-se da alocação de recursos públicos que devem ser alocados com a máxima eficiência. Cabe ao governo estimular os setores mais estratégicos para o País e dar estímulos para a sua viabilização. Mas, qual é a lógica de interferir diretamente no setor privado, além da verificação da qualidade e de sua publicização aos interessados? Que mal há em formar mais médicos e advogados de que se precisa? Os que não conseguirem ocupação de acordo com a sua formação podem se dedicar a trabalhos correlatos como administradores, pesquisadores, professores, representantes comerciais, etc. O fato é que ao restringirem a oferta beneficiam os que permanecem com poderes oligopolísticos que elevam preços (consultas médica e honorários, por exemplo) diminuem a concorrência e cerceiam o acesso daqueles que desejam ingressar na profissão. Para estabelecer um mínimo de qualidade para o exercício da profissão pode-se aperfeiçoar e disseminar o Exame de Ordem da OAB e introduzir o mesmo tipo de Exame para os que quiserem exercer a medicina, como já se faz experimentalmente, de forma voluntária, em São Paulo.

Chama a atenção também a necessidade de integração ao SUS, como se não houvesse lugar também para um atendimento médico privado de alto custo ou mesmo para formar pesquisadores. Em síntese, “relevância social” deve ser critério quando há utilização de recursos públicos e deve ser aplicado para Instituições de Ensino Superior mantidas pelo governo federal e estadual. Quanto ao setor privado, basta certificar-se de sua qualidade e informar ao publico os resultados da avaliação como se pretende fazer quando o SINAES estiver completo. O setor privado já vem demonstrando sua flexibilidade ao diminuir o ritmo de crescimento das matrículas, aumentar a oferta de cursos tecnológicos , fechar alguns cursos, como os de Economia e diminuir o valor das mensalidades. Resta analisar alguns aspectos formais. As Universidades, em princípio têm autonomia para criar novos cursos que somente serão reconhecidos após em média tres anos de sua implantação. Esta é a prática para todos os outros cursos, inclusive Odontologia e Psicologia na área médica e não há como explicar logicamente a exceção atribuída aos dois cursos aqui tratados. Uma outra consideração refere-se à obrigatoriedade dos Conselhos Estaduais de Educação de seguirem a mesma diretiva, já que foi instituída por uma Portaria do MEC e não por um decreto ou por uma lei.

A responsabilidade criminal dos jovens

O assassinato brutal de uma criança, arrastada pelas ruas por assaltantes no Rio de Janeiro, volta a colocar em pauta a questão da imputabilidade legal dos menores. Será que tornar os jovens a partir de 16 anos responsáveis pelos seus crimes melhoraria a situação?

Pessoalmente, acho que não deveria haver uma regra única. Os rapazes que chegaram a este nivel de violencia dificilmente se recuperam. Como disse a mãe da criança assassinada, eles já não têm coração. Na maioria dos casos, eles saem da prisao diretamente de volta para atividades criminosas, inclusive porque nao conseguiriam trabalho. Como regra geral, é claro que os menores devem ter um tratamento diferenciado, voltado para a recuperação, como diz a legislação brasileira, mas os juizes deveriam ter um certo espaço para decretar punições mais severas em situaçoes extremas – acho que é assim na Inglaterra e em outros países.

Mas o problema é muito mais sério, e nao se alteraria com uma simples mudança de legislaçao – milhões de jovens que nunca conseguirão entrar no mercado de trabalho por nao terem um minimo de competência, e criados em uma cultura de marginalidade e criminalidade nas grandes cidades. E o sistema prisional, tanto para menores quanto para maiores, é um desastre, já é imenso, e só fortalece a cultura da criminalidade.

Esta stiuação não tem solução de curto prazo, mas precisa ser enfrentada por vários lados ao mesmo tempo. O mais importante, e mais difícil, é criar condições para que os jovens nao entrem na atividade criminosa. Isto depende de educação, e também de melhorar a condição de vida nas comunidades em que este jovens nascem e crescem. Ao mesmo tempo, é preciso reduzir a impunidade. Grande parte dos crimes que ocorrem não são punidos, e os benefícios do sistema progressivo que permite o regime semi-aberto a liberdade condicional, que deveriam ser individualizados, acabam sendo aplicados a todos. E finalmente, o sistema prisional, tanto para menores quanto para maiores, precisa ser melhorado, dando condições efetivas de recuperaçao para a maioria dos presos.

Como estas coisas nao sao feitas, o que acaba predominando é o pior dos mundos: a violência policial e das “milícias,” com o assassinato diário de grande número de jovens, criminosos ou não. Não há de ser uma simples mudança de legislação que vai resolver isto. Mas é claro também que a atual legislação não ajuda.

Ainda sobre a “necessidade social”

Recentemente, o Ministério da Educação aprovou a criação de dois cursos de medicina em São Paulo, das Universidades Anhembi-Morumbi e Paulista, cujos pedidos de autorização ficaram retidos por dois anos por uma suposta falta de “necessidade social”, embora não houvesse dúvida sobre sua qualidade. Edson Nunes, do Conselho Nacional de Educação, escreveu os pareceres mostrando, com dados, a impossibilidade de utilizar este critério. O Ministério da Educação concordou, tanto que acabou aprovando a criação dos cursos, mas agora volta à carga, por decreto, com a mesma idéia da necessidade social. Os pareceres do CNE, de número CNE/ CES 321/2004 e CNE/CES 322/2004, são públicos.

Claudio Moura Castro: o SAEB e as ofensas raciais

Cláudio de Moura Castro escreveu a seguinte nota, com o título de “Pena que meu livro de método científico já tenha sido publicado!”

Nos dias 8 e 9 de fevereiro o Estadão publicou duas matérias sobre educação. Se a publicação tivesse sido há um ano atrás, ambas estariam incluídas, como exemplos, na nova edição do meu livro A prática da pesquisa (Rocco). Infelizmente para o Estadão, seriam exemplos de erros clássicos na interpretação de dados.

O SAEB

No dia 9, a matéria mostra uma queda nos escores do SAEB, desde 1995 até o presente. Várias tabelas indicam curvas decrescentes para as pontuações. Os gráficos parecem não deixar dúvidas quanto à queda.

Em 1954, Darrell Huff publicou um livro que virou um clássico. Há novas edições à venda e os cursos de estatística aplicada ou métodos de pesquisa o citam ou citam idéias dele derivadas. O livro chama-se How to lie with Statistics (Como mentir com estatísticas). Seu principal objetivo é mostrar como são manipuladas as apresentações gráficas das estatísticas, com o objetivo de demonstrar aos incautos a tese do autor, seja para dar a impressão de grandes variações, seja para minimizá-las.

Um dos principais truques é manipular a escala dos eixos. Se usamos uma escala onde as variações são medidas por distâncias pequenas, parece que houve pouca mudança. Se são medidas por espaços grandes, parece que há alterações dramáticas nos dados.

No caso, as tabelas apresentadas amplificam as variações observadas, mediante o estratagema de apresentar uma escala expandida no eixo vertical. É fácil desmascarar o truque, bastando notar que o rendimento zero não aparece na tabela. Na altura do eixo horizontal, a pontuação já é de 170. Se o eixo horizontal fosse deslocado para baixo, até chegar ao zero, a tabela se espicharia pela página do jornal abaixo.

Essa tabela gigantesca – ou uma outra menor com a mesma proporcionalidade – mostraria resultados bem diferentes. Uma queda de dez pontos no SAEB significa uma queda de apenas 5% na pontuação. E é dessas ordens de variações que estamos falando. Variações de 5% estão dentro das margens de erro, resultantes da imprecisão dos testes e de seus mecanismos de comparabilidade. Ou seja, o SAEB não parece mostrar uma queda estatisticamente significativa.

Ofensas racistas

Fomos também brindados com uma matéria mostrando como as ‘ofensas racistas afetam o desempenho escolar’. O artigo sumaria uma pesquisa da Unesco. Como leitor do jornal, temos o direito de julgar o que foi publicado. Se os erros porventura encontrados são da Unesco ou da resenha, não é nosso problema.

Em resumo, os seguintes argumentos foram apresentados.

1. As crianças negras são alvos de ‘apelidos, comentários discriminatórios e ofensas’ nas escolas brasileiras. A matéria cita exemplos de tais situações.

2. Como resultado, há uma diferença de pontuação entre brancos e negros nos testes escolares, com ampla desvantagem para os negros. Ou seja, a discriminação causa prejuízos nos resultados escolares dos negros.

Os manuais de metodologia científica nos advertem contra o erro conhecido como post hoc, ergo propter hoc que significa simplesmente, ‘se vem depois terá sido causado por’. Como há racismo, este será o culpado pelas diferenças entre brancos e negros. O erro é que associações desse tipo não demonstram causação. A causa pode estar em outras bandas.

É hipoteticamente possível que as ironias e ofensas possam levar a um desempenho inferior dos negros. Mas há que demonstrar que é isso e não muitas outras possíveis causas. Como tal não foi feito, não ficou demonstrada a tese.

Uma das possíveis hipóteses é mencionada – e desprezada – no último parágrafo. Por tudo que sabemos, o mais forte determinante dos resultados escolares é bastante bem capturado pela educação dos pais. É a qualidade da experiência escolar prévia, é o ‘capital intelectual’ da família e diversas outras variáveis que militam para reduzir o rendimento acadêmico dos pobres. Quando comparamos alunos cujos pais têm a mesma escolaridade, as diferenças de pontuação entre brancos e negros diminuem enormemente. Isso porque, em média, os pais dos alunos negros têm menos escolaridade do que os dos brancos. Portanto, grande parte das diferenças de rendimento dos negros não são devidas ao tratamento que recebem dos colegas, mas do fato de serem pobres.

Mas as diferenças não desaparecem apenas controlando escolaridade dos país. O que sobra, bem menos, pode resultar dos apelidos e comentários. Pode também resultar de uma auto-imagem negativa, herdada dos pais ou de muitos outros fatores. Mas também pode resultar da nossa incapacidade estatística para capturar toda a ‘cultura da pobreza’, devido às imperfeições de medidas como educação dos pais. Por exemplo, verificou-se nos Estados Unidos que quando controlamos não a escolaridade mas a pontuação dos pais em testes de rendimento escolar, as diferenças entre raças desaparecem.

Em outras palavras, a afirmativa de que ‘ofensas racistas afetam o desempenho escolar’ é uma excelente manchete para uma matéria de jornal. Infelizmente, não é uma afirmativa confirmada pela evidência mostrada. Pelo contrário, há falhas graves na argumentação.

Mercado e qualidade da educação: os exemplos lá fora

– Na Inglaterra, o governo cria um novo programa para aumentar dramaticamente os recursos públicos e privados das universidades de elite, conforme artigo no The Guardian

– Nos Estados Unidos, a Universidade de Phoenix, maior instituição privada do país, voltada para estudantes que trabalham, enfrenta problemas de qualidade, segundo o New York Times

Mercado e qualidade da educação

Minha crítica à intervenção das corporações de médicos e advogados na autorização de cursos superiores, estabelecida por decreto pelo Ministério da Educação, foi entendida por algumas pessoas (que mandaram comentários anônimos, e por isto não publicados) como que se eu estivesse dizendo que o mercado, por si mesmo, garante a qualidade. Mas eu não penso isto, e não foi isto que eu escrevi.

Ao contrário, acho muito importante que existam sistemas de controle de qualidade, que incluem desde as diferentes modalidades de avaliação de cursos até as formas de avaliação da qualificação dos formados, como é feito por exemplo pelo Exame de Ordem da OAB e certificações da área médica.

O que critiquei, especificamente, foi o uso do tal “critério social” na autorização de cursos privados. Por este critério, um projeto excelente de criação de uma nova faculdade de direito ou de medicina, sem custos para o setor público, pode ser vetado se os advogados ou médicos acharem que já tem faculdades demais naquela localidade. Isto não é controle de qualidade, é controle de mercado, da mesma forma que antes se proibia a abertura de uma padaria se tivesse outra por perto.