FUNÇÕES E
METODOLOGIAS DE AVALIAÇÃO DO ENSINO SUPERIOR Simon
Schwartzman
Publicado como Documento de Trabalho do Núcleo de
Pesquisas sobre Ensino Superior (NUPES), 1989.
Sumário:
1.As funções da avaliação
a. trazer ao primeiro plano a questão da qualidade
b. revitalizar os valores, objetivos e induzir processos
auto-avaliativos
c. identificar das dimensões de qualidade
d. diferenciar funções e papéis
e. dar um novo sentido de dignidade às atividades de ensino
f. melhorar a informação para o público
g. melhorar a qualidade interna das instituições
h. despolitizar e desburocratizar o processo de distribuição
de recursos entre instituições de ensino
i. proporcionar
mais recursos para o ensino superior
2. As dimensões de qualidade
a. Formação genérica e básica
b. eqüidade e seletividade
c. recursos didáticos, pedagógicos e instalações
d. análise do desempenho profissional
e. análise de desempenho acadêmico
f. análise de requisitos técnicos e profissionais requeridos
g. impacto comunitário e regional
h. análise da produção científica
i. análise da eficiência e da efetividade
j. outras dimensões de qualidade
3. O Contexto Institucional da Avaliação
a. obedecer ao princípio da avaliação inter-pares
b. manter independência em relação às autoridades educacionais
c. fazer uso de informações objetivas e quantitativas,
assim como de assessoria técnica especializada
d. dar novas funções ao Ministério da Educação
4. As metodologias de avaliação
a. as unidades de análise: cursos, departamentos, institutos
ou universidades?
b. métodos qualitativos ou quantitativos?
c. auto-avaliação ou avaliação externa?
d. métodos reputacionais
e. indicadores objetivos
f. outras metodologias
5. Um modelo de avaliação
para o Brasil a. base institucional
b. o papel do Ministério da Educação
c. objeto e instrumentos de avaliação
d. cronograma de trabalho
Referências Bibliográficas
FUNÇÕES E METODOLOGIAS DE AVALIAÇÃO DO ENSINO SUPERIOR
Existe hoje no Brasil uma crescente consciência da necessidade de desenvolver
sistemas de avaliação do ensino superior. Esta necessidade é sentida na
administração federal, que se ressente da falta de critérios adequados para
a distribuição de seus recursos; pelas universidades públicas, que necessitam
conhecer melhor a si próprias, e confrontar com informações seguras as críticas
que freqüentemente recebem; pelos professores, que sentem a necessidade
de valorizar seu trabalho, e fazer com que os resultados de seus esforços
e dedicação sejam devidamente reconhecidos e recompensados; pelos estudantes
e suas famílias, que hoje decidem seus cursos de forma quase aleatória,
baseados em fragmentos de informação, o que explica em parte as grandes
taxas de evasão nos cursos superiores, assim como um certo clima de frustração
e cinismo que acaba se desenvolvendo em muitas partes.
A existência deste consenso nacional sobre a necessidade de avaliação não
significa, no entanto, que todos estejam de acordo quanto à maneira pela
qual esta avaliação deva ser feita, e menos ainda sobre como seus resultados
podem vir a ser eventualmente utilizados. Esta falta de acordo é natural
e deriva, em parte, de nossa falta de experiência e conhecimento sobre o
assunto; mas reflete, também, o fato de que não existe, em nenhuma parte
do mundo, metodologias de avaliação que estejam livres de questionamentos
e discussões. Seria utópico imaginar que fosse possível chegar a uma metodologia
de avaliação tão objetiva e perfeita que pudesse, por si mesma, eliminar
as ambigüidades e contradições que são inerentes a qualquer empreendimento
humano. Avaliações, por melhores que sejam, refletirão sempre valores de
pessoas, e sempre existirão outras que pensarão de forma distinta.
Isto significa que seria utópico esperar que exista uma metodologia de avaliação
totalmente objetiva, e que pudesse ser aplicada sem maiores dificuldades
a nossas instituições de ensino, produzindo resultados indiscutíveis e livres
de dúvidas e ambigüidades. É por isto que este texto fala da introdução
de um processo avaliativo, entendendo-se por isto uma atividade contínua
e aberta mediante a qual todos os setores envolvidos com o ensino superior
aprendem a pensar em termos de objetivos, desempenho e qualidade, e que
tem como resultado a melhoria progressiva do desempenho do sistema de ensino
superior como um todo e de cada instituição em particular. Não se deve esperar
que, ao longo deste processo, desapareçam as dúvidas, as discordâncias e
as contradições que sempre existem em qualquer sistema educativo vivo e
dinâmico; mas ele será, sem dúvida, um sistema mais sadio e mais adequado
a seus fins.
O tema da avaliação do ensino superior é relativamente novo no Brasil, mas
já temos algumas experiências isoladas, realizadas por iniciativa do Ministério
da Educação e de algumas universidades, assim como uma experiência relativamente
longa de avaliações contínuas dos programas de pós-graduação, conduzidas
pela CAPES (Castro e Soares, 1986), e podemos ainda nos valer de uma ampla
experiência internacional a este respeito. O objetivo deste texto é examinar
com algum detalhe as funções da avaliação, a noção de "qualidade" no ensino
superior, os mecanismos institucionais necessários para as avaliações e,
por fim, algumas das metodologias disponíveis para isto. Ao término, um
modelo simplificado de avaliação para os cursos superiores no Brasil é proposto,
como sugestão para o processo avaliativo que hora se inicia.
As medidas de qualidade devem ser sempre cuidadosamente diferenciadas, por
um lado, da intenção que as pessoas têm, e, por outro, das explicações ou
causas de determinados resultados.
A análise das intenções, ou objetivos, é um aspecto da maior importância
em qualquer pesquisa avaliativa, mas tem seu lugar próprio e determinado.
É necessário saber, em primeiro lugar, quais são os objetivos explícitos
buscados por uma instituição em seu trabalho. Este objetivo explícito está
freqüentemente expresso em documentos escritos pertinentes a um curso ou
a uma profissão, e podem servir de parâmetros para a avaliação dos resultados.
Em segundo lugar, no entanto, há que ir além do que está escrito, e tratar
de pesquisar o que está, de fato, na cabeça das pessoas. A experiência mostra
que existem sempre diferenças entre o que está escrito e a realidade, que
tende a ser mais complexa e, não raro, contraditória (alunos podem ter um
tipo de objetivos, professores, outros, e assim por diante). A pesquisa
de objetivos, ou intenções, é feita normalmente em conjunto com a pesquisa
avaliativa propriamente dita, mas tem seu lugar e objetivos próprios.
Confusões entre a avaliação de resultados e suas causas são extremamente
freqüentes, e devem ser objeto de grande atenção. É sabido, por exemplo,
que as origens sócio-econômicas de uma pessoa determinam em grande parte
seu desempenho profissional futuro. Assim, o fato de que os alunos de um
determinado curso obtenham excelentes empregos pode ser, simplesmente, um
reflexo do nível sócio-econômico de suas famílias, e não dizer nada quanto
à qualidade do curso enquanto tal. Por outro lado, é possível imaginar que
estudantes de origem social menos privilegiada que conseguem fazer estes
cursos também conseguem boas oportunidades profissionais, graças à convivência
com os colegas e outros benefícios proporcionados pelo curso. Análises estatísticas
cuidadosas podem determinar, com bastante precisão, em que medida a experiência
educacional enquanto tal tem um peso específico nos resultados finais, mesmo
quando esta experiência possa, em si mesmo, ser explicada por outros fatores.
Existem pois, ainda segundo o exemplo anterior, pelo menos três situações
diferentes. A primeira é quando os efeitos positivos aferidos pelo processo
avaliativo se explicam totalmente por variáveis não educacionais, como por
exemplo a origem sócio-econômica dos estudantes ou a localização geográfica
da instituição de ensino. Neste caso, os resultados da avaliação podem ser
totalmente espúrios. A segunda é quando existe um efeito educacional discernível,
ainda que este efeito seja totalmente explicável por variáveis externas.
Uma faculdade de medicina com muitos recursos, por exemplo, será possivelmente
melhor do que outra sem recursos; trata-se de uma diferença genuína do ponto
de vista educacional, por causas externas aparentemente óbvias. A terceira
situação, mais rara, ocorre quando as diferenças de resultado derivam exclusivamente
de características internas, como por exemplo a adoção de determinadas metodologias
de ensino, ou determinadas políticas de recrutamento de professores.
A pesquisa avaliativa revela também, com freqüência, que existe um alto
grau de associação entre diversas dimensões da avaliação, o que significa,
muitas vezes, a existência de uma relação causal entre elas. Assim, por
exemplo, a obtenção de notas altas em testes de conhecimento pode estar
correlacionada com a obtenção de situações profissionais satisfatórias depois
de formados. Se esta relação for suficientemente comprovada e estável, isto
significará que o conhecimento adquirido na escola de fato determina o resultado
no mundo do trabalho, uma hipótese que nem sempre se verifica no mundo real.
A existência de uma relação deste tipo poderia também tornar dispensável
o estudo do desempenho profissional futuro, já que seria suficiente conhecer
o conhecimento obtido pelo aluno nas escolas.
Na prática, estas relações causais entre diferentes dimensões avaliativas
são menos estáveis e mais complexas do que se supõe, o que torna necessário
avaliar resultados de forma independente e simultânea em vários níveis.
A análise de causas, de relações espúrias e das interrelações entre as diferentes
dimensões de desempenho requerem o trabalho de especialistas, e permitem
um conhecimento cada vez mais aprofundado da realidade educacional, assim
como o desenvolvimento de instrumentos avaliativos cada vez mais aperfeiçoados.
É importante não perder de vista, no entanto, que existe uma diferença profunda
entre resultados e sua explicação, e que a pesquisa avaliativa se orienta,
acima de tudo, para a determinação destes resultados.
1.As funções da avaliação
a. trazer ao primeiro plano a questão da qualidade.
A principal função dos processos avaliativos é trazer a questão da qualidade
para o primeiro nível das preocupações de todos os que se interessam e participam
da vida das instituições de ensino superior.
Há muito o que discutir a respeito do que seja "qualidade", e esta discussão
será introduzida mais adiante. É importante assinalar desde início, no entanto,
que instituições de ensino, como quaisquer outras instituições, funcionam
muitas vezes em situações em que a qualidade de seu trabalho é estimulada,
e em outras em que esta qualidade é desestimulada, ou impedida de florescer.
Em uma análise clássica sobre o tema, Albert Hirschman demonstra que instituições
melhoram seu desempenho quando ocorre uma ou uma combinação das duas condições
abaixo:
a - existe uma situação de competitividade entre elas, tal
como se dá entre firmas que participam de um mercado aberto;
b - existem condições de participação na vida interna das instituições,
de tal forma que setores interessados na melhoria de seu desempenho possam
trabalhar pela sua melhoria.
Por outro lado, situações de acomodação e perda de qualidade ocorrem quando
existem situações de monopólio, ou quando as instituições não chegam a se
sensibilizar pelas pressões internas e externas que lhe são dirigidas. O
pressuposto desta análise é que existe uma tendência natural em instituições
à entropia, e que são necessários estímulos específicos para que condições
de excelência e bom desempenho se desenvolvam.
Aplicadas a instituições de ensino superior, esta análise sugere a importância
da existência de um "mercado" educacional, no qual os estudantes podem escolher
com liberdade suas escolas, os professores podem optar por se transferir
de uma universidade para outra, e instituições de apoio à pesquisa podem
escolher que projetos e que instituições financiar.
A existência de processos avaliativos é o principal instrumento para o desenvolvimento
deste "mercado de qualidade". Não bastam, porém estas sinalizações externas,
que caracterizam a possibilidade de os diversos participantes do "mercado"
escolherem as instituições que preferem para estudar, trabalhar ou financiar.
É necessário também que as instituições sejam sensíveis a estas escolhas,
e procurem responder a elas de forma adequada. Uma fábrica que produz um
produto que o mercado não compra, ou que perde seus melhores funcionários
por não lhes dar condições adequadas de trabalho, perde competitividade,
e é forçada a melhorar seu desempenho ou fechar suas portas. Instituições
públicas podem perdurar indefinidamente, e a existência de alternativas
de trabalho para seus profissionais mais qualificados pode ajudar a diminuir
a pressão interna para melhoria de desempenho, e assim reforçar os elementos
de estagnação. A existência de sistemas internos de avaliação é uma condição
necessária, mas não suficiente, para que este tipo de adaptação pela estagnação
não ocorra. É necessário, também, que nesta avaliação tenham voz predominante
aqueles setores que estejam mais abertos ao ambiente externo à instituição,
e que por isto se interessem mais diretamente por sua melhoria.
b. revitalizar os valores, objetivos e induzir processos
auto-avaliativos.
Na medida em que as instituições de ensino são chamadas a participar de
processos avaliativos, elas têm sua atenção necessariamente voltada para
o exame de seus próprios valores e objetivos, entendendo-se por "objetivos"
a definição das atividades pedagógicas, de pesquisa e de extensão consideradas
mais adequadas, os objetivos profissionais e pessoais dos professores, e
também os interesses dos "clientes" da instituição e da comunidade mais
ampla na qual ela se insere (Simpson, 1985). Esta explicitação de valores
e objetivos é, sempre, o resultado de um processo de avaliação interna que
as instituições fazem de sua capacidade, sua potencialidade e de sua vocação.
A existência deste tipo de avaliação, como processo contínuo dentro de uma
instituição de ensino, é muito estimulada pela existência de um interlocutor
externo, que solicite esta avaliação e tenha condições de relacionar e comparar
o que é feito em uma instituição com o que é feito em outras instituições
similares ou que tenham objetivos e condições de trabalho distintas.
c. identificar das dimensões de qualidade
Uma vez as instituições se sensibilizam para as questões de qualidade, coloca-se
imediatamente a questão de se saber em que ela consiste. O sentido comum
sugere que "qualidade" seja uma coisa única, possível de ser mensurada e
comparada, da mesma forma que mercadorias são mensuradas e comparadas em
um mercado em função de seu preço.
A realidade, no entanto, é que o termo "qualidade" engloba um conjunto de
valores que não são redutíveis uns aos outros, nem a um denominador comum;
em outras palavras, trata-se de um conceito multi-dimensional, e que deve
ser tratado como tal.
Na prática, isto significa que uma instituição pode ser muito boa para formar
pessoas que conseguem empregos bem pagos, por exemplo, mas pode ser ruim
enquanto formadora de pesquisadores com capacidade de inovar cientificamente;
ela pode ser boa em proporcionar aos alunos um ambiente agradável e estimulante,
mas os profissionais que forma podem ser inúteis do ponto de vista das necessidades
mais prementes do país; e assim por diante. Além destas dimensões mais gerais,
existem outras que são específicas a determinadas áreas de conhecimento:
existem tipos diferentes de engenheiros, médicos e economistas, e determinadas
instituições podem se especializar em determinada linha, mas não em outra.
Finalmente, existem públicos distintos a serem atendidos pelas instituições,
e um atendimento excelente a um público carente não é necessariamente comparável,
em termos de resultados, a um atendimento a um público dotado de maiores
recursos e condições.
Estas diferentes dimensões de qualidade resultam das preocupações e interesses
dos diversos setores que participam da atividade educativa, e a primeira
tarefa de qualquer processo avaliativo é identificar estas dimensões, e
escolher aquelas sobre as quais o processo avaliativo vai se dar. A escolha
destas dimensões deve ser, em parte, empírica, na forma de uma pesquisa
sobre valores e preferências existentes de forma explícita ou implícita
entre os diversos setores; e, em parte, política, na medida em que supõe
uma decisão a respeito de quais valores devem merecer maior atenção, e quais
não. É por causa desta dimensão política que os processos avaliativos devem
ser da responsabilidade de instituições ou setores dotados de grande legitimidade
e autoridade no meio universitário.
d. diferenciar funções e papéis
Um dos resultados mais importantes da análise sobre os diferentes sentidos
do termo "qualidade" é que ela pode levar a importantes diferenciações das
funções e papéis a serem legitimamente desempenhados pelas instituições
de ensino superior. Assim, algumas instituições podem se especializar na
formação de engenheiros de concepção e de projeto, outras na formação de
engenheiros de execução; cursos de sociologia podem se orientar para uma
formação histórica e humanística para seus alunos, enquanto outros podem
preferir uma formação técnica e quantitativa; enquanto algumas instituições
se preocupam com a pesquisa científica de tipo básico e com a pós-graduação,
outras podem enfatizar principalmente a formação profissional no nível de
graduação; algumas podem se voltar para conteúdos de interesse nacional
ou internacional, enquanto que outras se preocupam principalmente com sua
região; e assim por diante.
Os especialistas sem dúvida continuarão a debater as vantagens relativas
de uma ou outra orientação. É de se esperar, no entanto, que subsistam diferenças,
que elas sejam valorizadas por diferentes pessoas, e que desta forma o sistema
de ensino superior do país, ao invés de ficar preso à camisa de força de
uma concepção única, possa se desenvolver em várias direções ao mesmo tempo.
A existência da pluralidade de funções e papéis deve servir de advertência
quanto à tendência de iniciar os processos avaliativos a partir de uma definição
limitada de objetivos e padrões, normalmente extraídos da legislação, que
são então adotados sem maiores discussões. Existe uma grande diferença entre
os objetivos formais do ensino, tal como expresso na legislação, e as práticas
reais das instituições, em geral muito mais ricas e complexas, e os processos
avaliativos devem ter como um de seus principais objetivos fazer aflorar,
e dar legitimidade, a esta diversidade do mundo real.
e. dar um novo sentido de dignidade às atividades de
ensino.
O desenvolvimento da pós-graduação nas universidades brasileiras trouxe
como efeito inesperado uma certa desvalorização da atividade pedagógica
enquanto tal, que passou a ser vista como menos dignificante, e menos merecedora
de reconhecimento e apoio, do que a atividade de pesquisa. Na medida em
que os processos avaliativos comecem a identificar outros valores e objetivos
além dos da pesquisa científica, e que estes valores e objetivos passem
também a figurar como critérios de avaliação do desempenho das instituições,
estes outros valores, dentre os quais o do ensino enquanto tal, começarão
a ser novamente valorizados, e isto poderá trazer um novo sentido de dignidade
e de propósito a instituições que, por não haver desenvolvido programas
acadêmicos de pesquisa e pós-graduação, ficaram muitas vezes relegadas a
um segundo plano. O mesmo raciocínio se aplica a atividades como de extensão,
ensino à distância e cursos profissionais de curta duração, atividades que
dificilmente progridem face ao domínio exercido em nossas instituições de
ensino pelo modelo acadêmico mais convencional.
f. melhorar a informação para o público
Na medida em que os resultados dos processos avaliativos se tornem públicos,
o nível de informação existente na sociedade sobre suas instituições de
ensino também aumentará. A divulgação destes resultados pode se dar de diversas
formas, seja através das próprias instituições, seja através das agências
ou órgãos responsáveis pelos processos de avaliação.
As altas taxas de deserção que existem hoje em nossas instituições de ensino
superior revelam que os estudantes entram para os cursos freqüentemente
sem saber o que os espera, e teriam muito a ganhar se dispusessem de informações
fidedignas não somente quanto aos aspectos formais dos cursos que escolheram,
mas principalmente quanto à qualidade e à natureza da experiência educacional
e formativa que lhes espera. A escolha de cursos superiores nunca é feita
pelos estudantes de forma totalmente livre, já que eles sempre estarão limitados
pelo estoque de conhecimentos adquiridos no curso secundário e pelas dificuldades
de mobilidade geográfica, entre outros fatores. A tendência atual, no entanto,
é no sentido do aumento progressivo da liberdade de escolha, e a reintrodução
dos exames vestibulares isolados são uma indicação importante deste fato.
O conhecimento mais realista da natureza dos cursos superiores pode não
só levar a melhores escolhas de carreira ou de faculdades, mas também fazer
com que muitas pessoas desistam de prosseguir com seus estudos universitários,
e busquem outras opções educativas e profissionais, o que em si já seria
um resultado bastante significativo.
g. melhorar a qualidade interna das instituições
A existência de um "mercado" de qualidade terá como efeito necessário a
melhoria progressiva da qualidade de nossas instituições de ensino. A necessidade
de se relacionar com avaliadores externos, o esforço de explicitação de
objetivos institucionais, o desenvolvimento de processos internos de auto-avaliação,
tudo isto conduz a uma tomada de consciência da necessidade de definir objetivos
e tratar de alcançá-los. A estes efeitos se soma, naturalmente, o fato de
que instituições melhor avaliadas aumentarão seu prestígio, e terão maiores
facilidades para a obtenção de recursos externos de todo o tipo, o que servirá
de estímulo a que situações de estagnação e mal desempenho se tornem inaceitáveis.
Um outro efeito importante dos processos avaliativos é permitir que haja
uma efetiva troca de experiências e conhecimento entre instituições, o que
tem como efeito abrir o leque de possibilidades e permitir que determinadas
situações "congeladas" sejam postas em questão. É muito mais fácil, por
exemplo, discutir o mau uso de pessoal administrativo em uma determinada
instituição se ela pode ser comparada com outra que lhe seja similar em
outros aspectos, mas que apresenta uma experiência administrativa superior.
h. despolitizar e desburocratizar o processo de distribuição
de recursos entre instituições de ensino.
A distribuição de recursos públicos entre instituições de ensino no Brasil
se faz geralmente de forma incremental, ou a partir de decisões políticas.
A distribuição incremental de recursos é essencialmente burocrática, e consiste
em atribuir a uma instituição, este ano, o mesmo que no ano passado, mais
ou menos um incremento. Quando se trata de aumentar ou diminuir os recursos
de forma mais significativa, a decisão é quase sempre dependente do prestígio
político de determinadas personalidades. Além dos recursos orçamentários
normais, o Ministério da Educação dispõe freqüentemente de recursos adicionais
ou extraordinários que são repassados às instituições de ensino, sem que
existam procedimentos adequados que justifiquem estas decisões. O resultado
é que as autoridades governamentais ficam sujeitas ao constante assédio
dos diferentes grupos de interesse ligados às universidades, tornando-se
assim impossível o desenvolvimento de uma política educacional conseqüente
e a longo prazo.
Esta situação pode começar a se alterar na medida em que exista um processo
efetivo e legítimo de avaliação das instituições de ensino superior. Seria
um equívoco, no entanto, supor que esta situação requer que os sistemas
avaliativos sejam desenvolvidos sob a tutela das autoridades governamentais,
e diretamente vinculados a decisões de ordem administrativa e financeira.
Um caminho como este leva quase certamente à burocratização do próprio processo
avaliativo, o seu atropelamento por contingências políticas e administrativas,
e eventualmente sua perda de legitimidade. É de se esperar, naturalmente,
que as autoridades governamentais desenvolvam seus próprios mecanismos internos
de decisão, que devem incluir, naturalmente, algum sistema de avaliação;
mas é importante que existam sistemas de avaliação autônomos, desenvolvidos
de forma independente pela própria comunidade, e que se imponham ao governo
e à população como um todo pelos seus próprios méritos.
i. proporcionar mais
recursos para o ensino superior
Um dos resultados importantes dos processos avaliativos, a médio prazo,
é o do aumento do volume global de recursos disponíveis para o ensino superior
no Brasil. O ensino superior brasileiro hoje é prisioneiro de um perigoso
círculo vicioso. Trabalha com recursos limitados, e por isto não pode apresentar
resultados mais significativos; mas, como seus resultados são duvidosos,
tem dificuldades em conseguir mais recursos. No entanto, a implantação de
um processo avaliativo bem concebido pode contribuir, desde já, para o melhor
uso dos recursos já existentes, e também para explicitar com maior clareza
o que está ou não está sendo feito, o que deve ser buscado, e para que,
exatamente, recursos adicionais são necessários, Os processos avaliativos
têm como resultado a melhoria da imagem pública do sistema de ensino superior,
se não pela qualidade revelada, pelo menos pela demonstração do interesse
e da preocupação com a melhoria de seu desempenho; e tudo isto dá mais força
e autoridade, para solicitar da sociedade os recursos que as instituições
de ensino superior necessitam.
2. As dimensões de qualidade
Foi dito anteriormente que "qualidade" é um conceito valorativo (no sentido
de que expressa as preferências de um conjunto de pessoas) e multi-dimensional
(no sentido de que a mesma instituição pode ser avaliada ao mesmo tempo
quanto a qualidades distintas). A experiência acumulada em muitos países
revela, no entanto, um conjunto relativamente limitado de dimensões que
são freqüentemente analisadas, algumas genéricas e aplicáveis a qualquer
instituição de ensino, outras mais específicas de algumas áreas de conhecimento.
a. Formação genérica e básica.
O sistema educacional brasileiro se baseia na suposição de que a formação
genérica e básica dos estudantes se dá o segundo grau, cabendo às universidades
a função de formação profissional e especializada (em contraste, o "college"
norte-americano tem por objetivo a educação geral). A introdução do ciclo
básico na reforma de 1968 significou o reconhecimento de que a escola secundária
brasileira não está desempenhando esta função de forma adequada, e que por
isto seria necessário suprí-la no início dos cursos superiores.
A experiência brasileira do ciclo básico não parece ter dado resultados
adequados na maioria dos casos, está requerendo uma urgente reavaliação.
O que é claro, no entanto, é que a função a que ele se propõe deve ser desempenhada
de alguma forma nas instituições de ensino superior, seja no atual formato,
seja em uma seqüência de cursos paralela ao ciclo profissional, seja de
maneira implícita através das próprias disciplinas do ciclo profissional.
Seja qual for o formato adequado, será sempre importante indagar coisas
tais como: Em que medida as instituições de ensino estimulam nos alunos
o interesse pelo estudo? Em que medida os alunos encontram ou não condições
de expandir seus conhecimentos na medida de sua potencialidade? Em que medida
competências genéricas, como a capacidade de pesquisar, de inovar, de trabalhar
em grupo, de se organizar para o trabalho, são estimuladas? Uma lista de
objetivos deste tipo, que poderia ser utilizada em um processo avaliativo,
inclui entre outras as seguintes dimensões (Bok, 1986, p.21):
- desenvolvimento de habilidades de comunicação escrita e oral;
- desenvolvimento de habilidades analíticas
- desenvolvimento da capacidade de resolver problemas
- desenvolvimento da capacidade de fazer juízos de valor
- melhoria da capacidade de interação social
- compreensão das relações entre os indivíduos e seu meio ambiente;
- desenvolver a compreensão sobre o mundo contemporâneo;
- desenvolver a compreensão e a sensibilidade para as artes e o conhecimento
das humanidades
- proporcionar uma capacitação mínima e familiaridade com as metodologias
e abordagens das ciências modernas.
- desenvolver nos estudantes interesse pelas questões de fronteira em
sua área de especialização.
Questões como estas podem ser dirigidas a qualquer curso superior, e permitem
comparações significativas não somente dentro de cada área de conhecimento,
mas também entre elas.
b. eqüidade e seletividade
A análise da função formativa torna-se especialmente importante quando observamos
a grande disparidade que existe entre os estudantes que entram nas escolas
superiores no Brasil. Em um extremo, estão os jovens de classe média ou
alta que terminam as melhores escolas secundárias particulares e passam
nos vestibulares das universidades públicas; no outro, pessoas de 30 anos
ou mais, de origem social mais humilde, e que buscam os cursos noturnos
das escolas particulares, aonde não existe a barreira do vestibular. Diante
desta diversidade, as instituições de ensino tendem a optar por uma dentre
duas estratégias: a primeira é tratar de manter seus padrões de qualidade,
através de procedimentos extremamente seletivos, seja no exame vestibular,
seja nos semestres iniciais dos cursos. A segunda é baixar os critérios
de admissão e promoção de alunos, tendo como resultado uma aparente abertura
social, mas de fato a manutenção de padrões de desigualdade que irão se
refletir na vida profissional posterior.
A estratégia socialmente mais adequada, e pedagogicamente muito mais difícil,
seria a de permitir a entrada de pessoas com níveis de formação prévia bastante
distintos, e conseguir que elas tenham, ao final do curso, um nível de capacitação
semelhante. Outra estratégia também válida seria desenvolver cursos orientados
especialmente para a clientela menos habilitada para o trabalho acadêmico,
pela utilização de procedimentos pedagógicos mais amadurecidos e testados
do que a simples aula expositiva. Como os cursos se comportam diante da
questão da eqüidade é um elemento de grande importância em qualquer processo
avaliativo.
c. recursos didáticos, pedagógicos e instalações.
A existência de recursos didáticos e pedagógicos (laboratórios, bibliotecas,
sistemas audiovisuais, computadores, etc.) não é, em si mesmo, uma dimensão
de qualidade do ensino, mas existe forte presunção de que uma coisa vem
associada à outra. Como são, além disto, coisas fáceis de medir e quantificar,
estes ítens estão sempre presentes em quase todos os estudos de avaliação.
O mesmo raciocínio vale para instalações tais como restaurantes, campos
de esporte, dormitórios para estudantes, facilidades de transporte, etc.
De uma maneira geral, deve haver uma distinção entre recursos que têm uma
finalidade pedagógica imediata, como laboratórios, e outros que visam principalmente
a tornar agradável e confortável a vida universitária, como campo de esportes
ou residência universitária. Em todos os casos, é sempre conveniente ir
além da simples coleta de informações, e tratar de verificar, por exemplo,
em que medida e de que forma computadores e sistemas audiovisuais são efetivamente
utilizados pelos alunos, e se eles fazem alguma diferença nos resultados
obtidos.
d. análise do desempenho profissional
Cursos superiores devem ser também avaliados, no outro extremo, quanto ao
desempenho profissional de seus estudantes. Todos conseguem emprego, ou
se estabelecem profissionalmente? Quanto tempo demora, em média, entre a
época de formatura e a obtenção do primeiro emprego? Que níveis salariais
são obtidos? Existe progresso no trabalho, ou as pessoas permanecem estagnadas
depois do primeiro trabalho? O tipo de trabalho desempenhado também é uma
informação relevante. Que chances têm os formados de se estabelecer como
profissional liberal, de desenvolver uma carreira como pesquisador, de fazer
um curso de pós-graduação, de trabalhar em uma grande empresa pública ou
privada?
Neste nível de generalidade, a avaliação do desempenho profissional futuro
pode ser feita da mesma forma para áreas profissionais distintas, e permite
inclusive que se estabeleçam comparações entre áreas, uma informação de
grande relevância para pessoas que necessitam escolher entre diversas opções
profissionais. Estas informações servem também como indicadoras da saturação
relativa do mercado de trabalho, e desta forma ajudam a definir uma política
de prioridades educacionais a médio e longo prazo.
Podem haver, além disto, avaliações mais específicas por áreas de conhecimento,
que permitam comparações mais finas entre cursos semelhantes. Existem alternativas
conhecidas, por exemplo, na área de medicina (formação genérica vs. formação
especializada), engenharia (de concepção, de projeto e de execução) e economia
(acadêmica ou empresarial) que podem ser examinadas não somente quanto ao
objetivo explícito dos membros das instituições, mas também quanto ao que
ocorre objetivamente.
e. análise de desempenho acadêmico
A análise de desempenho acadêmico consiste, basicamente, na aplicação de
testes padronizados de conhecimento aos alunos dos cursos (Phi Delta Kappan,
1985). Aplicados a estudantes que estão terminando seus cursos, estes testes
permitem medir, com bastante precisão, os níveis de conhecimento de que
os estudantes dispõem, e servem de base para comparações também precisas
entre cursos.
Como os resultados obtidos ao final dos cursos reflete, em boa parte, a
bagagem de conhecimentos que os alunos já trazem ao entrar na faculdade,
uma medida mais precisa do impacto educacional dos cursos requer que as
medidas ao final sejam comparadas com medidas feitas ao início do curso.
Assim, uma instituição pode ter resultados finais relativamente modestos,
mas muito significativos em relação às características dos alunos que recebe,
e vice-versa.
A comparação entre resultados iniciais e finais torna-se complicada pelo
fato de que os alunos, no início dos cursos, ainda não foram expostos aos
conhecimentos específicos que podem ser aferidos ao final. Por isto, os
testes iniciais devem ser de tipo mais genérico, o que permite, por sua
vez, que alunos de cursos distintos sejam comparados em termos de seus estoques
iniciais de conhecimento e aptidão.
O desenvolvimento de testes padronizados de conhecimento que sejam aplicados
durante o vestibular, ou no início dos cursos, é na realidade um instrumento
precioso de acompanhamento do desempenho dos cursos secundários, dos exames
vestibulares e da própria estrutura de demanda por cursos por parte da sociedade,
em que pesem as conhecidas limitações destes testes enquanto instrumentos
preditivos de resultados futuros.
f. análise de requisitos técnicos e profissionais requeridos.
A análise do desempenho profissional é essencialmente indutiva, já que supõe
que é o mercado de trabalho que revela quais as qualificações os profissionais
de determinada área necessitam ter, e remunera os profissionais de acordo
com isto; e tende a ser também estática, já que supõe que o desempenho profissional
atual dos estudantes de alguns anos atrás serve de referência e critério
para o desempenho futuro dos estudantes de hoje.
Estas suposições deixam de ser válidas, no entanto, em situações nas quais
se podem prever grandes mudanças, seja pelo avanço da tecnologia, seja por
mudanças no mercado de trabalho, seja pela existência de políticas governamentais
que faça prever a demanda futura de determinados perfis profissionais, ou
a obsolescência de outros.
Nestes casos, a pesquisa avaliativa requer um trabalho prévio de identificação
de necessidades e demandas futuras, que não estão dadas, necessariamente,
no atual mercado de trabalho. Existem várias metodologias possíveis para
a identificação destas demandas futuras. Em geral, elas requerem a identificação
de um grupo selecionado de pessoas mais qualificadas em sua especialidade,
às quais se solicita que façam previsões bastante específicas sobre o estado
futuro de seu campo de trabalho em um horizonte de tempo especificado. Os
resultados das opiniões individuais são depois consolidados em uma série
de discussões e reavaliações (é a chamada "técnica de Delphi"). Uma vez
identificadas as características futuras, elas são utilizadas nos processos
avaliativos, assim como no redirecionamento dos objetivos dos cursos.
g. impacto comunitário e regional
Em que medida os alunos formados permanecem vinculados a suas regiões ou
comunidades? Em que medida os conhecimentos que adquirem são adequados às
necessidades, às possibilidades e aos recursos tecnológicos de seu meio?
Em que medida os cursos dados são inteligíveis aos estudantes de determinada
região? Em parte, esta avaliação pode ser feita ao se examinar se os formados
pelos cursos superiores de determinada região tendem a ficar vinculados
a ela ou, ao contrário, tendem a emigrar para os grandes centros. Em parte,
ela requer uma análise prévia de quais seriam as possibilidades e as condições
tecnológicas adequadas ao meio, cuja introdução nos currículos poderia então
ser requerida.
A questão do impacto comunitário e regional é de grande importância fora
dos grandes centros urbanos, dada a dificuldade de retenção local de pessoal
qualificado. Esta dificuldade de retenção muitas vezes se deve, de fato,
à inadequação dos conteúdos aprendidos, que mais se prestam a atividades
profissionais existentes nos grandes centros. Em muitos outros casos, no
entanto, elas se devem às próprias limitações locais, em termos de oportunidades
de trabalho, salário e desafio profissional, que fazem com que as pessoas
melhor formadas e capacitadas, e que inclusive teriam interesse em permanecer
ativas em sua região, terminem por emigrar. Quando isto ocorre, a busca
da "adequação" comunitária ou regional se transforma, simplesmente, na adoção
de baixos padrões de desempenho, que fazem com que os cursos e tornem eventualmente
mais acessíveis às populações locais, e seus profissionais menos capazes
de participar de uma comunidade profissional mais ampla. Quando isto ocorre,
as taxas de emigração profissional diminuem, mas cabe perguntar se a competência
destes profissionais justifica o investimento havido em educá-los.
A questão da regionalização do ensino traz à tona dilemas extremamente sérios,
que estão na base de muitos dos atuais problemas do ensino superior no país.
Escolas superiores de qualidade fora dos grandes centros podem funcionar
como fator de "brain drain"; escolas de má qualidade podem simplesmente
contribuir para consolidar situações de atraso e subdesenvolvimento regional.
A combinação entre bom desempenho e relevância regional é difícil de obter,
e requer, geralmente, uma política de fixação de pessoal que vai além do
que as instituições de ensino podem, por elas mesmas, realizar.
h. análise da produção científica
A legislação universitária brasileira, ao postular a indissolubilidade do
ensino e da pesquisa, conduz à noção de que o desempenho científico do professores
de um curso deve ser o indicador por excelência de sua qualidade. De fato,
grande parte do prestígio que normalmente se atribui ou não aos cursos superiores
deriva do desempenho científico de seus professores.
Existem várias razões, no entanto, pelas quais este indicador deve ser tomado
com cautela. A primeira é que não existe, nas universidades brasileiras,
uma correspondência direta entre a localização da pesquisa científica e
a dos cursos de graduação. A pesquisa científica tende a ser organizada
em institutos ou departamentos, e os cursos de pós-graduação têm, em geral,
uma base departamental definida (o que permite que a CAPES possa analisar
o desempenho científico dos cursos de pós-graduação, o que é, em termos
mais estritos, uma inadequação). Os cursos de graduação, no entanto, são
freqüentemente interdepartamentais, regidos por colegiados, e nem sempre
se beneficiam das atividades de pesquisa dos professores.
Em segundo lugar, é sabido que as atividades de ensino são freqüentemente
percebidas pelos pesquisadores como conflitando com o trabalho de pesquisa
enquanto tal, principalmente quando os alunos não tem condições de acompanhar
o trabalho de pesquisa que está sendo feito. Esta dificuldade freqüentemente
se agrava, no Brasil, pela forma em que muitos dos nossos programas de pesquisa
e pós-graduação foram constituídos, de forma independente e separada dos
cursos de graduação. Existem situações em que os professores de pós-graduação
fazem um esforço consciente de se envolverem com o ensino básico e de graduação;
em outros casos, porém, a separação é total, e o impacto da pesquisa e da
pós-graduação nos cursos de graduação é mínimo.
Finalmente, o ensino de graduação requer freqüentemente um investimento
específico em metodologias de ensino e em amplitude de conhecimentos que
o pesquisador profissional especializado geralmente não tem. O resultado
do bom trabalho pedagógico em nível de graduação nem sempre se reflete em
termos dos resultados mais aparentes da atividade de pesquisa, que são as
publicações científicas e a participação em atividades típicas da "comunidade
acadêmica". Além do mais algumas atividades profissionais, como por exemplo
a engenharia, em geral não levam a um padrão de publicações científicas
que é mais típico das ciências básicas.
Por tudo isto, a análise do desempenho científico é apenas uma das dimensões
de qualidade do ensino, e não pode se substituir às demais.
i. análise da eficiência e da efetividade
Estudos de avaliação distinguem geralmente entre eficácia, que é a capacidade
de obter determinados resultados, da eficiência, que é uma medida de produtividade,
ou seja, da capacidade de produzir determinado resultado por unidade de
custo. O termo "efetividade" é as vezes utilizado para caracterizar uma
combinação ótima entre eficiência e eficácia (como por exemplo em Schwartzman,
1965), de tal maneira que se tome em conta tanto eventuais custos excessivos
da eficácia como resultados pouco expressivos da eficiência exagerada.
Todas as dimensões discutidas até aqui se referem a eficácia, ou seja, à
análise do desempenho conseguido independentemente dos seus custos. A análise
da eficiência permite colocar estes resultados em perspectiva.
Existem várias medidas possíveis de eficiência. Uma das mais óbvias é a
das taxas de evasão dos cursos. Outra é o número de professores por aluno;
outra, mais geral, é o custo per-capita de um aluno formado, ou de um aluno
cursando; ou número de funcionários administrativos por professores, ou
alunos. É possível desenvolver indicadores aproximados de desempenho científico,
pela comparação de publicações com recursos existentes, ou pessoal com nível
de doutoramento, ou pessoal em dedicação exclusiva.
Em um nível mais complexo de análise, é possível tratar de estabelecer determinados
padrões de desempenho para instituições de mesmo tipo, e compará-las entre
si. Qual deve ser a relação adequada de professor/aluno em um curso de medicina?
Quantos técnicos ou administradores por professor em um curso de ciências
sociais?
A análise da eficiência não deve, evidentemente, perder de vista os objetivos
finais da educação superior, aos quais ela deve sempre se subordinar. Por
outro lado, é evidente que a utilização adequada de recursos humanos e materiais
deve ser uma preocupação constante em qualquer processo avaliativo (Review
of Higher Education, 1985).
j. outras dimensões de qualidade
A listagem anterior não é exaustiva, e inclui uma série de aspectos que
fazem parte de qualquer processo avaliativo: a avaliação da qualificação
e desempenho de professores, o exame da consistência e conteúdo de cursos,
o funcionamento de programas de estágio, a utilização efetiva de laboratórios
e equipamentos técnicos são alguns destes ítens.. Cursos podem ser avaliados
com certa facilidade pelos seus programas, e sua execução efetiva. A qualidade
das aulas, no entanto, só podem ser aferidas pela opinião dos próprios alunos,
que está sujeita a fatores que nem sempre refletem bons resultados educacionais
a médio e longo prazo (Canelos, 1985). Avaliações de alunos podem ser melhoradas
pela inclusão de perguntas informativas, e não somente de avaliação ou opinião;
e quando feitas de forma bem específica, de tal maneira que seja possível
ao analista identificar, com alguma clareza, quais os fatores que contribuem
para um determinado tipo de resultado.
3. O Contexto Institucional da Avaliação.
Como a avaliação não é um procedimento meramente técnico, seu sucesso depende,
em grande parte, do reconhecimento da legitimidade dos responsáveis por
sua realização. Os Estados Unidos possuem uma estrutura bastante complexa
de "acreditação" de cursos superiores, que são estabelecidos voluntariamente
pelas instituições de ensino, e depois se encarregam de acompanhar os padrões
de desempenho de cada um, através de diversos mecanismos de avaliação periódica.
Conselhos e associações profissionais de vários tipos também avaliam os
profissionais diplomados pelas diversas instituições de ensino, quer através
de exames aos quais os profissionais devem se submeter, crer através do
credenciamento outorgado às instituições para emitirem diplomas com validade
reconhecida pelas respectivas associações. A tradição européia é mais parecida
com a brasileira, no sentido de que o governo tem um papel muito mais central
no controle e acompanhamento das instituições de ensino. O que caracteriza
a experiência européia, em contraste com a norte-americana, é, em primeiro
lugar, a absoluta predominância da educação pública; e, em segundo lugar,
um nível de competência relativamente alto das autoridades educacionais.
O Brasil, apesar de ter seu sistema educacional copiado inicialmente de
países europeus, se aproxima mais da situação norte-americana, tanto em
relação à diversidade de suas instituições quanto em relação à debilidade
institucional do governo.
A implantação de sistemas adequados de avaliação do ensino superior brasileiro
depende da criação de uma base institucional adequada, que possa atender
tanto quanto possível às seguintes condições:
a. obedecer ao princípio da avaliação inter-pares.
Os avaliadores devem ser amplamente reconhecidos e respeitados nas respectivas
áreas de conhecimento, de forma tal que suas conclusões, ainda que controversas,
tragam consigo o peso de sua autoridade; e suas decisões devem ser independentes,
baseadas em sua responsabilidade profissional e pessoal. A única maneira
de atender a este critério é pela escolha de pessoas de competência e prestígio
profissional indiscutível para compor os órgãos de avaliação. O modelo clássico
de organização é o de comitês assessores, seja na forma de grupos de pessoas
que se renovam periodicamente, tal como procede o CNPq, seja através de
presidentes de mandato temporário que trabalham com listas de consultores,
como ocorre com a CAPES.
Este mecanismo é o único que pode funcionar, mas está sujeito também a dois
tipos opostos de corrupção, ou deterioro. O primeiro é quando a seleção
dos membros dos comitês assessores é feita de forma burocrática e autoritária,
o que resulta na perda de legitimidade dos assessores ante as respectivas
comunidades profissionais. O segundo é quando a indicação dos avaliadores
se transforma em algo semelhante a um processo eleitoral, e os avaliadores
passam a representar os interesses da média das instituições a serem avaliadas,
o que resulta em geral em um nivelamento por baixo. Em ambos os extremos,
os avaliadores ficam sem autoridade própria, e passam a responder, quer
às diretrizes emanadas da administração, quer às demandas dos setores politicamente
mais organizados das respectivas áreas de conhecimento.
A maneira de evitar estes extremos é tratar de fazer da indicação dos avaliadores
um processo misto, em que a comunidade seja consultada na indicação dos
nomes, mas também onde as autoridades governamentais tenham a possibilidade
de influenciar.
b. manter independência em relação às autoridades educacionais.
Esta condição já está implícita no ítem anterior, mas merece uma ampliação.
Os processos avaliativos devem ser conduzidos de forma independente, e não
responder diretamente às demandas e solicitações das autoridades governamentais,
por várias razões importantes. A implantação de um processo avaliativo é
lenta, requer um período difícil de experimentação e erro, enquanto que
o governo precisa muitas vezes de tomar decisões a curto prazo. Existe pois
o perigo de que o governo venha a atropelar o processo de implantação, e
terminar com sua legitimidade ainda no nascedouro. Depois, a principal função
dos processos avaliativos deve devolver uma informação qualificada às próprias
instituições de ensino, que devem ver com interesse e participar deste trabalho.
Aqui, novamente, sua dependência em relação à administração direta pode
ter conseqüências bastante negativas. Finalmente, a participação nos processos
avaliativos por parte das instituições de ensino deve ser sempre voluntária,
o que não se coaduna com as necessidades governamentais.
É claro que, uma vez funcionando e produzindo resultados, estes resultados
poderão ser (ou não) utilizados pelos órgãos governamentais na condução
de suas políticas. Mas, para isto, é essencial que a independência dos sistemas
avaliativos esteja assegurada.
c. fazer uso de informações objetivas e quantitativas,
assim como de assessoria técnica especializada.
Apesar das dificuldades e limitações das metodologias quantitativas, elas
desempenham duas ou três funções importantes em qualquer processo avaliativo.
Em primeiro lugar, elas provêm os avaliadores de informações que, em geral,
eles não possuem, e isto lhes permite ir além das impressões ou informações
incompletas com que todos, normalmente, trabalham. Segundo, elas permitem
de alguma forma controlar a tendência que pode existir em qualquer sistema
de avaliação inter-pares (Clemow, 1985-6). Terceiro, a utilização de assessoria
especializada permite incorporar, nos processos de avaliação, o acervo de
conhecimentos que já existe a respeito, evitando os erros mais comuns dando
condições para a obtenção de resultados mais significativos.
d. dar novas funções ao Ministério da Educação.
O papel do Ministério da Educação deve ser o de facilitador e estimulador
do processo avaliativo, e não o de executor e responsável. O que se requer,
aqui, é uma mudança bastante profunda de percepção a respeito do papel do
Ministério da Educação na atividade de ensino superior. Do ponto de vista
mais amplo, cabe ao Ministério, de forma inalienável, zelar para que o ensino
superior se oriente segundo os objetivos mais gerais do país, tais como
estabelecidos pelas autoridades governamentais responsáveis. Este acompanhamento
não requer, no entanto, a supervisão direta das instituições de ensino pelo
Ministério, e sim seu acompanhamento global, que não exclui, evidentemente,
interferências externas que se tornem necessárias.
A principal tarefa do Ministério da Educação deve ser a de trabalhar para
que a comunidade universitária do país desenvolva mecanismos próprios e
autônomos de avaliação, que possam fornecer a todos os setores informações
seguras a respeito de seu desenvolvimento, suas tendências, suas carências
e necessidades. A experiência inglesa com o University Grants Committee
sugere que existem benefícios importantes em transferir a própria responsabilidade
da repartição do orçamento público para órgãos de natureza inter-universitária
(Shattock e Berdhal, 1984).
A curto prazo, a principal tarefa do Ministério da Educação é institucionalizar
os mecanismos de avaliação, dentro das características aqui sugeridas; e,
ao mesmo tempo, prover as comissões avaliadoras dos necessários recursos
e assistência técnica especializada. Dada a grande diversidade do ensino
superior brasileiro, é bastante provável que surjam procedimentos e mecanismos
independentes de avaliação, cujos resultados não sejam estritamente comparáveis.
Cabe ao Ministério, na medida do possível, favorecer a troca de experiências
e a comparabilidade dos resultados, sem no entanto tratar de impor sua própria
metodologia.
4. As metodologias de avaliação.
Assim como existem muitas coisas diferentes a serem avaliadas, existe também
uma grande variedade de metodologias a serem empregadas, que podem ser divididas
em três grandes grupos: avaliações globais e qualitativas, estudos reputacionais
e estudos de indicadores objetivos (Tan, 1986). Cabe ainda discutir, no
capítulo das metodologias, a questão das unidades de análise, a oposição
entre métodos quantitativos e qualitativos, e o lugar da auto-avaliação.
a. as unidades de análise: cursos, departamentos, institutos
ou universidades?
A primeira decisão a ser feita em qualquer processo de avaliação se refere
ao próprio objeto. Estamos interessados em avaliar universidades, departamentos,
cursos, institutos, carreiras? Depende do interesse do momento. Dada a complexidade
e tamanho das universidades brasileiras, o que vale para um curso de engenharia
pode não ter nenhuma relevância para um curso de ciências sociais, ou para
um departamento de química. Por isto é sempre interessante trabalhar em
níveis menos desagregados. De qualquer forma, a definição do objeto de análise
depende muito de quem esteja interessado em promover as avaliações:
- para os estudantes, candidatos a vestibular e suas famílias,
o mais importante é a avaliação dos cursos superiores, e até mesmo das
diferentes habilitações profissionais em cada curso.
- para pesquisadores, especialistas, e órgãos de financiamento à pesquisa
científica, pode ser mais importante a avaliação de departamentos ou institutos
que são as unidades que se organizam em função de disciplinas acadêmicas.
- para agências governamentais responsáveis pela distribuição de recursos
públicos, pode ser mais útil a avaliação de unidades contábil e administrativamente
diferenciadas, que são geralmente as universidades ou estabelecimentos
isolados, e muito mais raramente cursos profissionais, ou faculdades.
A definição da unidade de análise é um problema particularmente complexo
porque existe muita variedade organizacional nas instituições de ensino
superior no Brasil. Um "curso" pode significar, em um caso, uma faculdade
perfeitamente identificável administrativa e contabilmente, enquanto que
em outra o mesmo curso pode consistir em um programa de estudos interdepartamental
coordenado por um colegiado que se reúne de tempos em tempos.
Neste texto falamos, em geral, de "instituição", mas na prática este termo
pode assumir qualquer das conotações acima. A tendência predominante no
momento, no Brasil, é a de desenvolver sistemas de avaliação de cursos,
já que a formação profissional tende a ser vista, e não sem razão, como
a principal função dos cursos de nível superior.
b. métodos qualitativos ou quantitativos?
Os métodos qualitativos são aqueles que visam a analisar, descrever e eventualmente
formular recomendações pelo exame aprofundado e amplo de um grande número
de informações, sem preocupar-se em associar este trabalho a valores ou
escalas quantificáveis. Vistos como o extremo oposto dos métodos totalmente
quantitativizados, os métodos qualitativos têm a vantagem de poder incluir
uma grande riqueza de informações e percepções que muitas vezes escapam
por entre as linhas dos formulários pré-codificados. Eles também permitem
uma interação contínua e proveitosa entre avaliadores e avaliados, que,
no caso dos procedimentos de auto-avaliação, podem ser os mesmos. Por outro
lado, os métodos qualitativos podem freqüentemente perder-se na ausência
de critérios e padrões externos de referência, correndo o risco de, ao final,
não refletirem senão as pre-concepções iniciais dos avaliadores.
Os métodos quantitativos consistem, basicamente, na comparação sistemática
de qualidades, que são assim transformadas em escalas e mensurações de vários
tipos. Os objetos de mensuração podem ser tanto "objetivos" (como por exemplo
o número anual de vagas ou desistências nos cursos, o número de livros na
biblioteca, a razão professor/aluno) como subjetivos (por exemplo a grau
de satisfação ou insatisfação com os cursos, ou as médias das notas dos
alunos, que expressam a avaliação subjetiva dos professores).A vantagem
dos métodos quantitativos é que eles permitem a realização de comparações
sistemáticas, e a análise estatística de relações e efeitos que geralmente
se perdem na análise qualitativa diferenciada. Em geral, os procedimentos
de avaliação mais adequados requerem um trabalho sistemático de coleta e
organização de informações quantitativas, para comparações globais e a identificação
de parâmetros, combinado com avaliações qualitativas a serem feitas caso
a caso.
c. auto-avaliação ou avaliação externa?
Os processos de auto-avaliação, quando bem conduzidos, são um componente
da maior importância na vida da instituição, e isto de dois pontos de vista.
Em primeiro lugar, eles são uma excelente ocasião para aumentar o envolvimento
e a participação das pessoas na vida de suas instituições, criando assim
um clima de mudança e melhoria. Em segundo lugar, ele pode permitir, de
fato, que os objetivos institucionais sejam explicitados, que deficiências
sejam localizadas. Finalmente, auto-avaliações podem permitir uma excelente
combinação destas duas funções, na medida em que o envolvimento das pessoas
faz com que elas se sintam responsáveis pela correção dos problemas que
encontram, ou pela consecução dos objetivos que elas mesmas ajudaram a identificar.
Estas qualidades dos procedimentos de auto-avaliação não devem impedir que
se tenha consciência também de suas dificuldades, que são bastante grandes.
Instituições de ensino são, por natureza, multi-funcionais, e isto significa
que têm freqüentemente pessoas distintas e com motivações e valores também
distintos em seu interior. Assim, por exemplo, alguns professores podem
se interessar mais pela pesquisa, outro pelo ensino, um terceiro por trabalhos
de extensão; e podem haver perspectivas e competências também distintas
a respeito de cada uma destas atividades. O normal é que cada qual pense
que seus objetivos sejam os mais importantes ou legítimos, e desvalorize
os dos demais. Processos auto-avaliativos podem fazer aflorar e desencadear
tensões até então latentes, e ter como resultado o empobrecimento da instituição,
pela alienação de alguns ao final do processo, ou o desencadeamento de processos
altamente conflitivos. Esta possibilidade leva a que muitos processos de
auto-avaliação terminem por colocar todas as eventuais dificuldades em agentes
externos à própria instituição, e deixem enfrentar as dificuldades internas
que efetivamente existam. A ausência de referentes externos pode, ainda,
fazer com que os membros das instituições fiquem demasiadamente limitados
a sua própria experiência, e não consigam colocá-la em um contexto avaliativo
mais amplo.
Finalmente, a existência de sistemas de avaliação internos não garante que,
uma vez concluídos, os resultados das avaliações sejam tomados em consideração
e resultem em ações efetivas. Quanto mais integração houver entre os sistemas
avaliativos e as estruturas de decisão de uma instituição, mais probabilidade
haverá de que seus resultados sejam postos em prática (Wilson, 1984); ao
mesmo tempo, uma intimidade muito grande entre decisores e avaliadores pode
eliminar a independência e autonomia dos avaliadores, resultando assim em
recomendações inóquas. O estabelecimento de uma distância ótima entre avaliadores
e administradores, e a utilização de indicadores que façam sentido para
os responsáveis pelas decisões administrativas, é um dos elementos chave
no sucesso de qualquer sistema interno de avaliação que se estabeleça (Lindsay,
1981).
Avaliações externas ocorrem quando uma equipe é chamada a analisar uma instituição
determinada e produzir um relatório a respeito de seu desempenho e suas
condições de trabalho. Existem muitas razões que podem levar a este tipo
de avaliação. Um instituto de pesquisa pode solicitar uma avaliação externa
como passo para a solicitação de recursos de uma agência financiadora; ela
pode ser parte de um processo de credenciamento de um curso ou instituição;
e, em alguns casos extremos, ela pode ser uma forma de examinar se uma instituição
está ou não cumprindo os requisitos mínimos da legislação que afeta seu
funcionamento, tanto do ponto de vista educacional quanto em relação ao
cumprimento de procedimentos administrativos e financeiros aceitáveis.
Em todos estes casos, estas avaliações se dão de forma episódica, ad
hoc. Avaliações externas podem também ser parte de procedimentos regulares.
Assim, os processos de acreditação de instituições de ensino nos Estados
Unidos requerem normalmente a realização de avaliações globais periódicas,
que têm como ponto de partida um processo de auto-avaliação em que a instituição
explicita seus próprios objetivos e metas, e depois analisa em que medida
estes objetivos e metas estão ou não sendo cumpridos. Este documento de
auto-avaliação serve de base ao trabalho da comissões externas, que têm
uma visão comparativa das instituições submetidas a este processo. Uma modalidade
significativa deste tipo de metodologia são as auditorias externas e as
avaliações de otimização (Simpson, 1985). O que caracteriza este tipo de
procedimento (que não tem porque ter a conotação punitiva que a palavra
"auditoria" geralmente traz) é que o desempenho da instituição é aferido
em função da padrões que são estabelecidos previamente, e pode dar origem
a sugestões específicas para a melhoria de seu desempenho.
d. métodos reputacionais
Os métodos reputacionais consistem, basicamente, em pesquisar a reputação
das instituições de ensino ante pessoas que, por hipótese, estão avalizadas
para opinar (Webster, 1986; Hattendorf, 1986). Estas pessoas, ou "juízes",
são escolhidas por vários procedimentos, seja de tipo formal e objetivo
(pessoas que ocuparam cargos de alta responsabilidade em suas profissões,
por exemplo), seja a partir de listas elaboradas por perguntas a uma grande
amostra de profissionais, que depois vão sendo reduzidas um número menor
de pessoas que tendem a ser mais referidas. Uma vez escolhidos os juízes,
eles são solicitados a ordenar as instituições de ensino por nível de qualidade,
seja pela atribuição de notas ou pela indicação das melhores. Estas avaliações
podem ser feitas de forma global, ou diferenciando as instituições segundo
uma série de aspectos.
A principal vantagem dos métodos reputacionais é que eles produzem resultados
com rapidez e simplicidade, que espelham, com bastante fidelidade, as imagens
e percepções existentes entre os especialistas. A principal dificuldade,
naturalmente, é que os juízes selecionados nem sempre possuem adequada informação
sobre a realidade atual das instituições de ensino que estão avaliando,
e tendem a se basear principalmente na fama e no prestígio passado das instituições.
Na medida em que as perguntas se tornam mais específicas, as metodologias
reputacionais tendem a dar resultados mais satisfatórios, ao mesmo tempo
em que revelam o conhecimento efetivo que os avaliadores têm das instituições.
e. indicadores objetivos
Como já foi dito, a obtenção de indicadores objetivos é uma etapa importante
em qualquer processo avaliativo, em si mesmos e pelo que permitem como balizamento
para as avaliações de tipo qualitativo. Alguns indicadores refletem diretamente
resultados, como por exemplo as taxas de evasão e repetência; outros dados
têm uma relação menos clara com a avaliação, mas podem ser úteis em análises
posteriores (como, por exemplo, informações sobre origem social e mobilidade
geográfica de professores e alunos). A coleta de dados quantitativos encontra,
freqüentemente, a resistência de professores e autoridades educacionais,
que têm geralmente experiências negativas com questionários repetitivos
que não produzem resultados nem chegam a conclusões de maior significação.
Existem alguns procedimentos que podem minimizar esta resistência: espaçar
a repetição de questionários, já que dados objetivos não mudam significativamente
a não ser em vários anos; reduzir ao mínimo o tamanho dos questionários,
e evitar perguntas que revelem desconhecimento das questões em estudo; e
fazer com que os resultados finais sejam realmente analisados e difundidos,
o que requer, normalmente, a colaboração de especialistas.
f. outras metodologias
Existem várias outras metodologias que são comumente empregadas em avaliação,
e que ocupam espaços variados no espaço formado pelos extremos das metodologias
quantitativas e qualitativas, internas e externas. Questionários de múltipla
escolha, entrevistas abertas, seminários conduzidos por técnicas de dinâmica
de grupo, observação participante, enfim, todo o repertório usual de instrumentos
para a pesquisa social pode ser utilizado.
5. Um modelo de avaliação
para o Brasil
A preocupação até aqui foi a de explicitar todas as possibilidades, implicações,
procedimentos possíveis e dificuldades inerentes à avaliação universitária.
Convém agora mudar de perspectiva, e tratar de sugerir um modelo prático
que pudesse ser colocado em execução mais ou menos a curto prazo. Trata-se,
basicamente, de um exercício que visa mostrar a viabilidade de um sistema
deste tipo, que deverá, certamente ser adaptado e aperfeiçoado quando de
sua execução.
a. base institucional
Idealmente, um sistema nacional de avaliação deveria ser coordenado por
algum tipo de comissão, ou conselho, de forte base acadêmica e profissional,
formada por pessoas ativas e de prestígio nas associações profissionais,
sociedades científicas e principais universidades do país. Além desta comissão
central, deveriam haver comissões especializadas por áreas de conhecimento,
de recrutamento similar. O procedimento para a constituição destas comissões
é similar ao adotado pelo CNPq e CAPES: por indicação de autoridade governamental,
através de consulta à comunidade.
Na ausência de uma estrutura deste tipo, é possível trabalhar através das
"Comissões de Especialistas" já existentes ou previstas nas normas vigentes,
ou ainda por um sistema semelhante ao da CAPES, em que "presidentes" de
áreas são indicados por mandatos fixos de 2 ou 3 anos, e trabalham a partir
de uma lista de consultores.
A formação destas comissões, ou Conselhos, é de fundamental importância,
uma vez que são elas que darão ou não legitimidade e respeitabilidade a
todo o processo.
b. o papel do Ministério da Educação
O Ministério da Educação tem grande responsabilidade em colocar este sistema
em funcionamento, mas ao mesmo tempo deve evitar que o resultado final seja
percebido como "a avaliação do MEC". Para que isto ocorra, é necessário
que as comissões de especialistas, ou seu equivalente, tenham total autonomia
na definição da estratégia de avaliação das respectivas áreas e na validação
final dos resultados. As tarefas do Ministério devem ser, pois, principalmente
as seguintes:
- formar as comissões, e dar-lhes apoio administrativo e financeiro
para que funcionem adequadamente.
- proporcionar apoio técnico e administrativo para levantamentos de dados
e análise das informações, quer em execução direta, quer pela utilização
de consultores ou especialistas externos;
- tratar de garantir o máximo de comparabilidade de resultados, seja entre
áreas de conhecimento, seja através do tempo.
É importante, ainda, que alguns princípios básicos sejam mantidos durante
todo o processo. O primeiro é que a avaliação deve ser voluntária, ou seja,
só entram no processo de avaliação os cursos cujas autoridades responsáveis
concordarem em participar. A segunda é que a avaliação deve ser feita de
forma independente, e sem vinculação direta com política de recursos do
Ministério. (é natural que, uma vez conhecidos os resultados, o Ministério,
assim como outras agências ou setores interessados, poderão se utilizar
dela se acharem adequado). Terceiro, que diferentes setores e áreas de conhecimento
podem trabalhar em ritmo distinto, eventualmente adotar também formatos
distintos.
c. objeto e instrumentos de avaliação
O objeto da avaliação, em um primeiro momento, devem ser os cursos de graduação.
Algumas questões a serem avaliadas são comuns a todas as áreas: padrões
de recrutamento de alunos, qualidade da experiência educacional, possibilidades
no mercado de trabalho, efetividade no uso de recursos. Outras são mais
específicas para cada área: modelos profissionais alternativos, adequação
de currículos, etc. Informações básicas sobre os cursos devem também ser
obtidas para que um mínimo de análise sobre os fatores que explicam certos
resultados possa ser feita.
Os instrumentos de análise devem ser os seguintes:
a) um conjunto de informações básicas, quantitativas, a serem
coletadas com o apoio do Ministério da Educação. Os principais dados se
referem a fluxo de estudantes, qualificação dos docentes, recursos orçamentários
e equipamentos disponíveis.
b) questionários a serem respondidos por amostras de professores e estudantes
dos cursos, versando sobre a experiência concreta do processo educativo
e sua avaliação. Os questionários deverão tanto quanto possível ter uma
parte comum as todas as áreas de conhecimento, e outras específicas, desenvolvidas
em cada caso.
c) eventualmente, avaliações a serem desenvolvidas pelos próprios cursos.
Estas auto-avaliações têm como principal objetivo explicitar as metas
e opções características de cada curso, e servir de ponto de referência
para a comparação com as avaliações externas.
d) relatórios específicos sobre cada instituição, realizado a partir da
análise dos resultados da pesquisa, seu cotejamento com os procedimentos
de avaliação interna, e contatos entre membros das comissões de especialistas
e as instituições avaliadas. Estes relatórios devem ter como principal
objetivo colaborar com as instituições no sentido de melhorar seu desempenho,
nas áreas consideradas como mais críticas, ou mais promissoras.
e) informações de caráter global sobre o sistema educacional do país,
áreas específicas de conhecimento e universidades, desenvolvidas de forma
independente das comissões de avaliação, pelo Ministério da Educação ou
pesquisadores independentes, que possam ser de subsídio para o trabalho
das comissões de avaliação.
f) dados sobre conhecimentos dos estudantes e desempenho profissional
posterior. Estes dados, em si mesmos da maior importância, requerem uma
consideração à parte, na forma de projetos especiais. Seria útil, no que
se refere aos estudantes, desenvolver testes estandardizados, que permitissem
comparações mais específicas de conhecimento inicial e adquirido; e estudos
sobre emprego e mercado de trabalho deveriam ser conduzidos com certa
regularidade.
d. cronograma de trabalho
Uma vez constituída a comissão de avaliação, é de se esperar que o levantamento
de informações básicas, elaboração de questionários, sua aplicação e análise
preliminar tomem aproximadamente um ano. Estes resultados poderão então
ser utilizados em avaliações mais qualitativas de instituição a instituição
no ano subseqüente. Novos dados deveriam ser coletados com periodicidade
de 3 a quatro anos, o suficiente para que mudanças significativas possam
vir a ocorrer e ser detectadas.
Referências
Bibliográficas:
Bok, Derek, 1986a - "Toward Higher Learning - The Importance of assessing
outcomes. Change, Nov. Dec., 18-27.
Bok, Derek, 1986b - Higher Learning. Cambridge, Mass.: Harvard
University Press.
Canelos, James, 1985 - "Teaching and Course Evaluation Procedures: A Literature
Review of Current Research". Journal of Instructional Pshychology,
12 (December), 187-195.
Castro, Cláudio de Moura e Soares, Gláucio A., 1986 - "As Avaliações da
CAPES", in S. Schwartzman e Cláudio de M. Castro (org), Pesquisa Universitária
em Questão, Editora da Unicamp / Icone Editora / CNPq, 173-189.
Clarke, Alex M. e Bert, L. Michael, 1982 - "Evaluative Reviews in Education".
Higher Education 11, 1-26.
Clemow, Bice, 1985-6 - "College Accreditation: The Mythic Club", College
Board Review, 138 (Winter), p. 18 ff.
Hattendorf, Lynn C., 1986 - "College and University Rankings: An Annotated
Bibliography of Analysis, Criticism and Evaluations". RQ 25 (Spring),
332-347.
Hirschman, Albert A., 1970 - Exit, Voice and Loyalty. Responses to Decline
in Firms, Organizations and States. Cambridge, Mass.: Harvard University
Press.
Lindsay, Alan, 1981 - "Assessing Institutional Performance in Higher Education:
A Managerial Perspective". Higher Education 10, 687-706.
Miller, R. I. and Barak, R. J., 1986 - "Rating Undergraduate Program Review
at the State Level". Educational Record, 67 (Spring/Summer), 42-46.
Schwartzman, S., 1985 - "Desempenho das Unidades de Pesquisa: Ponto para
as Universidades", Revista Brasileira de Tecnologia (Brasília,
CNPq), 16,2, março-abril, 54-60.
Shattock, Michael e Berdahl, Robert, 1984 - "The British University Grants
Committee 1919-1983: Changing Relationships with Government and the Universities".
Higher Education 13, 471-499.
Simpson, William B., 1985 - "Revitalizing the Role of Values and Objectives
in Institutions of Higher Education: Dificulties Encountered and the Possible
Contribution of External Evaluation". Higher Education 14, 535-551.
Phi Delta Kappan, 1985 - "What is the Proper Role of Testing?". Phi
Delta Kappan 66 (May), 599-639.
Review of Higher Education, 1985 - "Special Issue on Institutional Effectiveness".
Review of Higher Education, 9 (1), 1-130.
Shattock, M. e Berdahl, R., 1984 - "The British University Grants Committee
1919-1983: Changing Relationships with Government and the Universities".
Higher Education 13, 471-499.
Tan, David L., 1986 - "The Assessment of Quality in Higher Education: A
Critical Review of the Literature and Research", Research in Higher
Education, 24(3), 223-265.
Valle, Victor M., 1986 - La Evaluation en las Organizaciones Universitarias.
Washington, O.E.A., mimeo.
Webster, David S., 1986 - Academic Quality Rankings of American Colleges
and Universities. Springfield, Illinois: Charles E. Thomas, 209 pp.
Wilson, Richard F., 1984 - "Critical Issues in Program Evaluation". The
Review of Higher Education, 7, 2, 143-157.
<