Francisco Soares: os problemas do ENEM e os mistérios da TRI

Boa parte dos problemas surgidos com o ENEM em 2011, assim como a resposta dada pelo INEP a estes problemas, tem a ver com a misteriosa TRI, a “Teoria da Resposta ao Item” que foi adotada para produção dos escores. Francisco Soares, um dos principais especialistas brasileiros em estatística educacional, argumenta que há várias maneiras de se usar a TRI em um exame como o ENEM, fato que precisa ser entendido pelos decisores públicos.  O texto completo está disponível aqui.

Mas, o que é a TRI? A idéia básica é que cada competência em uma prova (por exemplo, a capacidade de ler e entender um texto) é medida por uma série de perguntas, ou itens, com graus diferentes de dificuldade, conforme o número de pessoas que responde certo. Itens fáceis que muitos respondem pesam menos na nota do que itens mais difíceis que poucos acertam. Outra função do TRI é identificar questões que na verdade não medem bem a  competência que se quer, e descartá-las. Finalmente a TRI pode ser usada para garantir que os resultados de diferentes anos sejam comparáveis. Para essa última finalidade, os itens a serem usados precisam ser pré-testados, Esta operação ficou comprometida e dificilmente poderá ser feita no futuro, depois dos problemas de vazamento que parecem incontroláveis.

O  que Francisco Soares argumenta é que a forma atual de usar  TRI para comparar os resultados de um ano a outro acaba entrando em conflito com a outra função do ENEM, que é servir de exame de ingresso para as universidades federais. Isto pela impossibilidade de se realizar o pré-teste de itens.  Se é para ser um exame vestibular, o ENEM deveria se concentrar em medir o que as universidades esperam o que os estudantes saibam nas diversas áreas de conhecimento. Para produzir comparabilidade advoga o uso de uma técnica diferente da atualmente usada, baseada em percentis. Na sua proposta os escores continuariam a ser calculados pela TRI.

Sua nota termina enfatizando que a pauta do ENEM precisa colocar a atenção no que interessa, do ponto de vista educativo: será que o ENEM está de fato medindo as competências que interessam?  Ele funciona melhor ou pior do que os vestibulares tradicionais? Que influência, positiva ou negativa, ele exerce sobre o ensino médio?  O que a enorme massa de dados produzida por este exame de grandes proporções nos permite entender sobre como é o estudante brasileiro que termina o ensino médio e busca o ensino superior?

Author: Simon Schwartzman

Simon Schwartzman é sociólogo, falso mineiro e brasileiro. Vive no Rio de Janeiro

Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

WP Twitter Auto Publish Powered By : XYZScripts.com
Wordpress Social Share Plugin powered by Ultimatelysocial