A convite da Associação Brasileira de Mantenedoras de Ensino Superior – ABMES, preparei uma análise do “conceito preliminar de curso” e, mais amplamente, do sistema de avaliação do ensino superior brasileiro, à luz das boas práticas intenacionais de avaliação, para um seminário que deve ocorrer em Brasilia no início de setembro. O texto permite também entender melhor a “cozinha” deste conceito recentemente divulgado. O texto, em versão também preliminar, e aberto a críticas, correções e sugestões de melhoria, está disponível aqui.
Ao conhecer a complexidade do cálculo dos indicadores do SINAES em relação a avaliação de curso, questiono se é possível obter a memória de cálculo para os valores encontrados? Tal indagação é recorrente diante dos últimos resultados publicados, pois algumas Faculdades obtiveram conceito um para sua instituição e a avaliação foi de apenas um curso. Outra inquietação é o uso de uma equação de regressão múltipla para classificar valores futuros com base em observações que se transformam continuamente? Esse resultado indicada que o desejável era obter as condições do passado. Mas o passado já era constituído de uma diferença entre dois tempos (notas dos que ingressaram e as notas dos concluintes). Outra incongruência já que não considera o erra amostral dos selecionados para compor as amostras dos iniciantes e dos concluintes (tem-se uma chance grande de não serem os mesmos sujeitos). Creio que tais indicadores podem ser válidos, porém a sua compreensão fica particularizada para seus idealizadores. Fogem ao conceito de indicador: se fácil de se interpretar, de calcular e são comparáveis no tempo.
Parabéns por suas críticas.
O prof. Paulo Cesar Ferreira tem toda razão. O ENADE não é comparavel de um ano a outro, porque a única coisa que daria para ver seria a variação da posição de um curso em relação aos demais. Se todos melhorassem ao mesmo tempo, ou todos piorassem, a posição não mudaria.
Para um teste ser comparável ao longo do tempo, ele deveria estar baseado em “questões âncoras” que se mantivessem de uma prova a outra, e de formado por ítens equivalentes quanto ao gráu de dificuldade e as dimensões que eles procuram medir. As provas do ENADE não obedecem a estes requisitos técnicos.
Muito pertinentes as colocações do Profº Schwartzman. Além delas, creio ser necessário acrescentar que falta base legal para o Conceito Preliminar de Curso (CPC). isso porque a Lei do SINAES determina que o conceito, para fins de regulação (autorização, reconhecimento e renovação/credenciamento e recredenciamento) deve, OBRIGATORIAMENTE, resultar de uma avaliação in loco. Ou seja, o ato de renovação de reconhecimento não pode ser editado tendo por base um conceito resultante de análise documental nos setores da SESu/MEC. È NECESSÁRIA A VISITA PRESENCIAL. A esse respeito, leiam-se os seguintes dispositivos da Lei nº 10.861/2004 (SINAES).
[Avaliação Institucional]
“Art. 3° A avaliação das instituições de educação superior…
(…)
§ 2° Para a avaliação das instituições, serão utilizados procedimentos e instrumentos diversificados, dentre os quais a auto-avaliação e A AVALIAÇÃO EXTERNA IN LOCO. (coloquei em maiúsculo)
[Avaliação de Cursos]
“Art. 4° A avaliação dos cursos de graduação …
§ 1° A avaliação dos cursos de graduação utilizará procedimentos e instrumentos diversificados, DENTRE OS QUAIS OBRIGATORIAMENTE AS VISITAS por comissões de especialistas das respectivas áreas do conhecimento” (coloquei em maiúsculo)
Esse é o MEC.
Senhor Schwartzman.
Verifico que o cálculo do IDD também considera a média extraída dos resultados de outros cursos participantes do ENADE. Assim, para saber se o meu curso acrescentou algum conhecimento aos meus alunos, dependo da média geral dos outros cursos.
Portanto, se o meu curso foi avaliado com IDD 2 em um ENADE e em razão disso tomei uma série de medidas para melhora-lo, terei dificuldades para saber da minha situação individual em um novo ENADE, caso a média nacional venha a melhorar. Isto é correto ? Ou estou enganado ?
Se o meu raciocínio é correto, esta avaliação não contribui. Poi nos mantém no escuro, sem dados precisos para identificar se as providências foram boas ou negativas…
Isto é prática saudável de avaliação ?
Ainda considerando correto em tese meu raciocínio, creio que a alternativa viável seria a alteração do cálculo, para também incluir o índice de variação isolada do meu curso.
Sem contar é claro, nos equívocos apontados em seu esclarecedor texto. Parabéns.
Profº Paulo César Ferreira
Faculdades Integradas de Três Lagoas MS