Simon's Site

Pesquisa Universitária na América Latina – experiências exitosas

Já estão disponíveis os resultados deste projeto, desenvolvido pelo IETS em parceria com o InterAmerican Network of Academies of Sciences (IANAS), e com o apoio da Fundação Ford. O trabalho consistiu no exame de um grupo seleto de casos em diferentes países latinoamericanos em que centros e institutos de pesquisa universitários se mostraram capazes de desenvolver projetos que têm, ao mesmo tempo, conteúdo científico e técnico de qualidade, e contribuem de forma significativa para o bem estar social e o desenvolvimento sustentado de seus países. O objetivo principal foi identificar os arranjos institucionais, financeiros e acadêmicos que permitem a estas instituições desenvolver estes projetos e atividades.

Sabemos, pela literatura existente, que as conexões mais frutíferas entre ciência, tecnologia e inovação não obedecem a uma sequência linear, da ciência básica às aplicações (conforme os modelos de oferta) nem da demanda à pequisa aplicada e básica (conforme os modelos de demanda), mas ocorrem através de interações e negociações complexas que ligam os diferentes participantes dos processos de inovação, nas quais o papel empresarial e de liderança dos pesquisadores e cientistas é de grande importância. As instituições universitárias, tradicionalmente, estão organizadas de forma rígida, que dificultam o desenvolvimento destas novas formas de interação. No entanto, existem exemplos importantes de atuação inovadora que vão além destas limitações, e que o estudo tratou de identificar e difundir.

Os casos escolhidos em cada país buscaram cobrir instituições públicas e privadas, em diferentes áreas de atuação – tecnológica, de biociências, agrícola e sócio-econômica. Além dos estudos de casos, disponíveis aqui, os resultados foram publicados em um livro consta de uma introdução, sobre “Educação Superior, Pesquisa Científica e Inovação na América Latina” (Simon Schwartzman); capítulos gerais sobre “Incentivos e Obstáculos ao Empreendedorismo Acadêmico” (Elizabeth Balbachevsky); “Propriedade Intelectual: Política, Administração e Prática nas Universidades Latinoamericanas” (Carlos M. Correa) e “Financiamento das Relações Universidade – Indústria” (Antônio José Junqueira Botelho e José Antônio Pimenta Bueno); e um capítulo para cada país, com um panorama geral da pesquisa universitária e o sumário dos estudos de caso.

O livro está publicado em versão eletrônica em português, pela Biblioteca Vrtual em Ciências Humanas do Centro Edelstein de Ciências Sociais; em versão espanhola, pelo Instituto Internacional da UNESCO para a Educação Superior na América Latina e Caribe (IESALC), e a versão em inglês está prevista para ser publicada proximamene pela SensePublishers.

Os textos completos dos livros, assim como os 16 estudos de caso, podem ser baixados daqui.

O enigma do Conceito Preliminar de Curso

No dia 6 de agosto o Ministério da Educação divulgou um até então desconhecido “Conceito Preliminar de Curso” que classificou 508 dos 2.028 cursos avaliados pelo ENADE de 2007 como de qualidade insuficiente, 444 da rede privada (19,5% do setor) , e 64 da rede pública (12,2%).

Embora “preliminares”, e aparentemente sujeitos a revisão, estes conceitos foram amplamente divulgados pela imprensa, afetando a reputação e provocando a reação indignada de muita gente. Existem de fato muitos cursos superiores de má qualidade neste país, públicos e privados, que precisam ser avaliados de forma externa e independente. A avaliação, quando bem feita, informa o público sobre cursos que devem ser buscados ou evitados, e estimula as instituições a melhorar seu desempenho. A auto-avaliação não é suficiente, porque ela não produz resultados comparáveis, e são geralmente defensivas.

O problema com a avaliação do ensino superior brasileiro não é que ela exista, mas a forma como ela é feita, e como os resultados são divulgados. O ENADE tem problemas técnicos graves, alguns dos quais eu apontei tempos atrás, e não me parece que tenham sido resolvidos. Entre outros, ele inclui uma prova de “formação geral” que, com 10 perguntas, tenta medir dezenas de competências, e não mede nenhuma (uma simples prova bem feita de linguagem seria melhor); provas de formação específica que não estão devidamente elaboradas em termos das competências que deveriam medir (cada uma delas se baseia em uma lista de matérias que o estudante deveria conhecer, o que é bem diferente); e uma estranha aritmética em que os resultados das provas aplicadas aos alunos que iniciam os cursos são somados aos resultados dos que terminam, aumentando os conceitos dos cursos que conseguem atrair estudantes mais qualificados, presumivelmente de nivel socio-econômico mais alto, mesmo que aprendam muito pouco nos anos seguintes, e punindo os que admitem alunos menos qualificados e contribuem mais para formá-los.

Sem poder mexer nesta aritmética, o INEP calculou um “indice de diferença de desempenho (IDD)”, que estima em que medida o desempenho dos alunos ao final do curso está acima ou abaixo do que seria estatisticamente esperado dadas as condições gerais dos alunos ingressantes. Além disto, o INEP desenvolveu um outro índice de “insumos” que combina informações sobre professores com doutorado e em tempo integral e opiniões dos alunos sobre os programas dos cursos. Tudo isto – ENADE, IDD, Insumos – é combinado com pesos definidos não se sabe como, e daí sai o “Conceito Provisório”.

Como o ENADE e o IDD medem coisas diferentes, e o segundo foi inventado para corrigir os erros do primeiro, é difícil interpretar o que de fato o Conceito Provisório está medindo (não parece que as informações sobre insumos privilegiem as instituições públicas, já que elas só entram na medida em que se correlacionam com o IDD). Uma medida de avaliação, além de ser tecnicamente bem feita, precisa ter uma interpretação clara, e precisa ser feita de forma independente e transparente, para que tenha legitimidade. Nada disto ocorreu com o Conceito Provisório.

Quando eu tenho uma dor de barriga e procuro um médico, ele não pode olhar as estatísticas sobre os possíveis correlatos da dor de barriga, e assim orientar meu tratamento. Ele precisa fazer um diagnóstico clínico de meu caso, e para isto, claro,os exames e as estatísticas são muito úteis. Da mesma forma, não é possível emitir juizos de valor sobre cursos superiores específicos a partir de estimativas estatísticas, por melhores que sejam. A avaliação deve ser feita por pessoas de carne e osso, com nome e sobrenome, que sejam respeitadas em seu meio, e que assinem embaixo. Sem isto, a credibilidade dos resultados sofre, e os sistemas de avaliação, que deveriam desempenhar um papel importante, acabam desmoralizados.

Pesquisas em eficácia escolar: origens e trajetórias

Editado por Nigel Brooke e José Francisco Soares, acaba de ser publicado o livro com este título que inclui, pela primeira vez em português, os principais textos que deram origem aos estudos empíricos sobre igualdade e equidade na educação, a partir do famoso “Coleman Report” sobre a igualdade de oportunidades educacionais nos Estados Unidos, de 1966. A publicação mostra que, finalmente, estas pesquisas estão chegando ao Brasil, sobretudo a partir do trabalho a Associação Brasileira de Avaliação Educacional (ABAVE).

O livro foi editado pela Universidade Federal de Minas Gerais.

Ivan Moura Campos: Inovação Tecnológica e Desenvolvimento Econômico

Recebi de Ivan Moura Campos o trabalho acima, escrito em parceria com Eduardo de Campos Valadares, a pedido da Secretaria de Planejamento de MG, “tratando da mesma temática dos textos em “Universidades e Desenvolvimento na América Latina”, apontados em seu blog. Focalizo o assunto com um viés que argumento ser especialmente adequado para as engenharias e as hard sciences, onde se cotejam o grau de desenvolvimento da indústria local e a competência instalada na universidade, e como isso impacta a agenda de pesquisa universitária”.

Nas conclusões, dizem os autores que “muito do que se financia no Brasil como ciência ou pesquisa básica é, na verdade, tecnologia de ponta de boa qualidade, desacoplada do parque produtivo local, gerando publicações indexadas, mas sem clientes prospectivos em prazo previsível. Na realidade, as universidades e os institutos de pesquisa brasileiros estão fazendo inovação tecnológica que não foi demandada pelo parque produtivo local, tratando de temas de ponta, condição necessária para publicação em periódicos de qualidade”. O trabalho está disponível aqui.

Ciencias sociais, ciencias naturais e as humanidades

A ciência política é uma ciência, como a física, ou parte das humanidades, como a literatura? Sendo uma ou outra coisa, de que forma ela participa, ou deveria participar, das políticas nacionais de desenvolvimento científico, tecnológico e inovação? Como ela deve ser avaliada por uma instituição como a CAPES?
Este foi, ou deveria ter sido, o tema da mesa redonda em que participei no 6º Encontro de Associação Brasileira de Ciência Política, realizado em Campinas em 1º de agosto, sob o o título de “As Ciências Sociais e o Desenvolvimento Científico”. Creio que todos os participantes da mesa – Wrana Panizzi, vice-presidente do CNPq, Carlos Henrique Brito Cruz, diretor científico da FAPESP, Ruben Oliven, presidente da ANPOCS, e Leôncio Martins Rodrigues, coordenador da mesa – concordaram em que o mundo da ciência está muito mudado e diversificado, que as diversas áreas do conhecimento têm importantes responsabilidades de produzir resultados, e que não é possível avaliar as ciências sociais (nem nas naturais) conforme os padrões clássicos da ciência acadêmica convencional.

No entanto, como acontece nestas ocasiões, a reunião terminou quando a discussão deveria estar começando. Parte de minha apresentação foi baseada nos resultados do estudo que fizemos em 2006-2007 sobre “Universidades e desenvolvimento na América Latina: experiências exitosas de centros de pesquisa”, cuja versão digital em português está disponível na Biblioteca Virtual de Ciências Humanas ; e parte nas notas que preparei a partir de uma reunião promovida pela CAPES sobre “avaliação de Competência Científica” realizado em 2007, aonde trato de discutir um pouco mais em detalhe esta questão das ciências sociais e das humanidades (o texto está disponível aqui).

Uma das minhas conclusões, na qual venho insistindo, é que o modelo de avaliação acadêmica adotado no Brasil 30 ou mais anos atrás, que teve importantes resultados, já não dá conta de lidar com a diversidade e pluralidade das atividades de pesquisa que vem se desenvolvendo no país e no resto do mundo, e já está a hora de buscar novos caminhos.

Direcionamento automático para o novo site

Estou inagurando um novo formato para meu site e blog, com acesso aos texos, mensagens e comentários. Espero que funcione bem, e por favor enviem sugestões e digam se há problema.

O redirecionamento deve ser autommático. Se não for, site agora é https://www.schwartzman.org.br/sitesimon (clique aqui)

Quem recebe as mensagens por correio continuará recebendo normalmente, e existe um lugar em cima do lado direito para novas inscrições ou para retirar o nome.

Reynaldo Fernandes: Minas e o IDEB

No dia 28 de junho publiquei uma nota da Secretaria de Estado da Educação de Minas Gerais, Professora Vanessa Guimarães, com o título de Minas, IDEB e Prova Brasil, com uma série de críticas e questionamentos a respeito do IDEB e sua aplicação em Minas Gerais. Agora publico a resposta do Professor Reynaldo Fernandes, Presidente do INEP, cujo texto integral está disponível aqui. .

O que fica claro é que houve um total desencontro de informações entre o Ministério e a Secretaria de Educação do Estado de Minas Gerais, que é responsável direta por uma das maiores redes escolares do país. Ora, além dos aspectos técnicos, uma avaliação nacional como a Prova Brasil, que serve de base para o IDEB, deve ter legitimidade para ser aceita e utilizada, e isto só se consegue com um trabalho permanente e paciente de diálogo, comunicação e construção de consenso. Acredito que esta troca de mensagens possa ajudar a esclarecer as dúvidas, e contribuir para que este diálogo se fortaleça.

Ruth Cardoso

Não me lembro de uma comoção nacional tão grande quanto a havida com a morte inesperada de Ruth Cardoso. Para os que a conhecíamos mais de perto, no pequeno mundo das ciências sociais, não poderia ser diferente, pela sua vida profissional e, sobretudo, pela pessoa simples, afetiva e comprometida que sempre foi. Também eram inevitáveis as manifestações oficiais de luto devidas à ex “primeira dama”, os elogios formais e a cobertura de imprensa dos funerais e das homenagens, que ela, provavelmente, teria preferido que não houvessem. Mas foi muito mais que isto.

Ruth sempre teve luz própria, sobretudo a partir do Programa Comunidade Solidária, mas é impossível separar o sentimentos e as manifestações de pesar por sua perda dos sentimentos e manifestações de apoio e solidariedade a Fernando Henrique Cardoso. E no entanto, Fernando Henrique, como todo político, provoca controvérsias, enquanto que Ruth parece ter sido sempre, ainda em vida e sobretudo agora, uma unanimidade nacional.

Sempre desconfiei de nossas unanimidades, que geralmente encobrem, sob o manto da suposta glória de poucos, as mazelas e os problemas dos demais. Com Ruth Cardoso foi diferente, e fico tentando entender por quê. Talvez tenha sido pelo fato de que ela personificasse, pelo estilo e pela conduta, um ideal de honestidade, autenticidade e despojamento na vida pública e intelectual que parece estar desaparecendo rapidamente no país. Se isto é verdade, o luto coletivo pela perda de Ruth Cardoso pode ser entendido como um luto por todos nós, pelos valores e pela ética que estamos perdendo, e que ela encarnava.

Minas, IDEB e a Prova Brasil

Vanessa Guimarães, Secretária de Estado de Educação de Minas Gerais, e João Filocre, Secretário Adjunto, enviam uma nota técnica detalhada em que mostram os avanços da educação de Minas Gerais nos anos recentes, medidos pelo sistema de avaliação do Estado, e questionam os resultados do IDEB, que consideram duvidosos. O texto completo, de 11 páginas, pode ser visto clicando aqui. Ao final da nota, a Secretaria solicita explicações:

1. É responsabilidade do MEC, do INEP e das instituições contratadas para realizar a Prova Brasil e o SAEB explicar as discrepâncias existentes e sobre a aparente ausência de relação causal entre ação efetiva no sistema e os resultados obtidos.

2. É responsabilidade do MEC informar, também, sobre a qualidade e consistência dos dados que vêm utilizando, sobre a margem de erro das suas avaliações e sobre as mudanças que vêm introduzindo no SAEB, bem como a repercussão dessas mudanças na confiabilidade dos resultados.

3. É dever do MEC informar os gestores dos sistemas estaduais e municipais de ensino sobre possíveis problemas e inconsistências antes de tornar público resultados que acabam por ser republicados pelos erros identificados.

4. É dever do MEC fornecer aos gestores dos sistemas estaduais e municipais de ensino a base de microdados para que se possa fazer uma avaliação mais segura sobre o comportamento dos sistemas educacionais nas avaliações que promove.