O Exame Nacional do Ensino Médio – Enem – precisa de mudanças. Esse exame baseia-se na estranha premissa de que todos os estudantes brasileiros, ao fim do Ensino Médio, devem saber exatamente o mesmo sobre todas as disciplinas. Por essa razão, engessa o currículo dessa etapa da Educação Básica, o que, por sua vez, explica a percepção de irrelevância do ensino médio por muitos estudantes, que o abandonam em grandes números. Assim sendo, é boa notícia saber que o Instituto de Estudos e Pesquisas Educacionais do Ministério da Educação – Inep – optou por começar as mudanças introduzindo a tecnologia digital para a oferta do exame.
O anúncio feito na semana passada não foi seguido, entretanto, da divulgação de um documento com a descrição técnica das decisões tomadas. Isso é essencial para se formar um entendimento mais completo das escolhas feitas pelo corpo técnico do MEC-Inep e para subsidiar o debate público. O Enem afeta a vida de milhões de brasileiros: estudantes, famílias, professores e diretores das escolas. Além disso, a preparação para o exame é um setor que movimenta recursos financeiros substanciais. Todos esses atores sociais devem ser ouvidos, bem como os especialistas que têm conhecimento técnico relevante.
O principal produto do Enem é um escore usado para definir a ordem de acesso dos candidatos a vagas em instituições de Ensino Superior. Uma boa posição no exame garante acesso a cursos que abrem portas para bons empregos e renda alta. Isso explica a enorme competição nesses cursos e a importância do Enem para os estudantes. Portanto, se o exame vai ser oferecido em dois formatos, é fundamental garantir que a nota final dos estudantes não é influenciada pela participação em uma ou outra versão. Se as notas dos que fizeram os dois formatos não forem comparáveis, fica criada uma fragilidade no exame, com claras consequências legais. Pelas declarações e comentários publicados na imprensa, nota-se que esse ponto ainda não foi completamente considerado. Assume-se ou que isso não é um problema ou que pode ser resolvido com o uso da Teoria de Resposta ao Item. Ambas hipóteses são falsas, se não houver um planejamento adequado.
Há itens de teste que, por suas características substantivas, têm comportamento diferente quando respondidos em papel ou no computador. Diferenças de comportamento dos itens podem também ser consequência de características sociais e escolares dos estudantes. Escores baseados em itens com comportamento diferente nos dois formatos não são equivalentes, independentemente da metodologia estatística usada.
Há várias soluções para esse problema, cujas viabilidades precisam ser discutidas. As duas mais óbvias são fazer um pré-teste com os dois formatos e/ou cuidar que a composição dos grupos de estudantes que usarem cada um deles permita, no momento da análise, considerar os impactos específicos de cada um.
Como se anunciou que já no próximo ano os dois formatos serão oferecidos, fica a pergunta: existem itens pré-testados em papel e no computador em número suficiente para compor os testes? Se os estudantes alocados ao formato on-line forem comparáveis aos estudantes que fizerem o exame com lápis e papel em termos sociodemográficos e escolares seria possível desenhar um processo de análise que garantisse a comparabilidade dos escores. Isso exigiria, no entanto, que o edital especificasse, pelo menos em linhas gerais, as etapas do processo de análise – o que constitui uma tarefa complexa.
Outro ponto que merece escrutínio público é a forma de contratação das empresas. O Enem usa um consórcio cuja contratação tem sido feita por dispensa de licitação. Em princípio, a mudança do formato coloca outros competidores em condições de participar. Na realidade, como nenhuma empresa no mercado tem hoje experiência de aplicação de exame on-line com o número de estudantes do Enem, a empresa escolhida terá também de desenvolver tecnologia e terá, com isso, uma fantástica vantagem competitiva futura. Assim a forma de seleção dos fornecedores deve garantir que uma saudável concorrência ocorra. Também, seria prudente que os órgãos de controle se manifestassem previamente.
Finalmente, deve-se considerar as experiências similares existentes no mundo: o Scholastic Aptitude Test americano – SAT – e o exame de admissão chinês, GaoKao, realizados em países com amplo acesso a tecnologias que ainda não abandonaram completamente o formato de aplicação em papel.
Todas essas considerações devem ser enfrentadas considerando, no entanto, que usar o computador para aplicar o Enem cria um leque enorme de possibilidades e, assim sendo, deve-se buscar a concretização dessa mudança.
Uma consequência especialmente importante do uso de computador no exame seria aposentar o formato de múltipla escolha, que não permite a verificação da aprendizagem das habilidades que exigem processos cognitivos mais complexos, exatamente as mais necessárias para a vida. O teste de múltipla escolha foi desenvolvido para facilitar processos de seleção, não para orientar o ensino.
A maioria das questões de um exame pode ser respondida por um pequeno texto. Avanços muito recentes na área de Natural Language Processing tornam possível a comparação dos textos das respostas dos estudantes com os textos dos gabaritos. Essa mudança tornaria o exame um indutor – em vez de inibidor – de aprendizagens significativas.
Há uma ausência séria em relação ao exame que está sendo ignorada. Trata-se da matriz do Enem. A reforma do ensino médio especifica que os estudantes farão o Enem em dois dias. Em princípio, o teste do segundo dia estaria concentrado nas disciplinas mais próximas da carreira universitária escolhida pelo estudante. No entanto, os detalhes ainda não foram estabelecidos, e os que entrarem no ensino médio no próximo ano farão o exame com essa nova matriz. Assim, é urgente que essa matriz seja divulgada. Comentei em artigo recente como decisões em relação a esta questão podem ajudar a tornar o exame mais barato. A mudança de tecnologia é um avanço, mas tem dificuldades de implementação e deve ser usada para tornar o exame um indutor de aprendizagens significativas. Se for utilizada apenas para turbinar o velho formato ou para diminuir custos, o país continuará a usar muitos recursos em atividade com pouco impacto educacional.
Sobre a digitalização do ENEM, duas perguntas me perseguem desde o primeiro anúncio dela. Como é que os candidatos vão fazer o exame digital? Em casa? Nesse caso, poderão ser ajudados por pessoas com conhecimento das áreas das questões. Se for em um local com micros, serão necessários milhões de micros, a um custo enorme.
Em ambos os casos, minha segunda pergunta é que fazer algo num micro é totalmente diferente de fazer no papel. Tive que fazer uma quantidade enorme de correções e adições no meu recente livro “A matemática pode ser interessante … e linda!” (ainda não recebi resposta da aceitação pela Editora da USP). Revendo o livro impresso, tive que fazer correções e mudanças em praticamente todas as mais de 200 páginas em Word. Ao ler um texto numa tela, simplesmente não se presta a mesma atenção do que ao ler o mesmo texto impresso, fora o fato de se perder a visão de conjunto. Alem disso, ao escrever a mão outros processos cognitivos entram em jogo diferentes do que escrever no computador, já pelo fato de a atividade motora ser totalmente diferente, fora o contato com algo virtual (a tela) em comparação com algo real (o papel), fora ainda que escrevendo tem-se um aspecto estético e individual (as letras) que não ocorre ao digitar. E, ainda mais, fora a tensão de se poder perder tudo o que se está fazendo se houver uma pane no computador, no sistema operacional ou no programa do exame.
Nesse sentido, a proposta de se testar para ver a diferença é fundamental. Aposto que haverá diferença.