Neste texto será referenciado o processo de avaliação dos cursos de ensino superior protagonizado pelo CNAVES, Conselho Nacional de Avaliação do Ensino Superior, cujas consequências na noção de qualidade e nos hábitos de avaliação das instituições de ensino superior serão discutidas a partir de alguns indicadores. Por simplicidade optou-se por fazer referências exclusivamente a instituições de ensino universitário público, ou às instituições representadas no CRUP, Conselho de Reitores das Universidades Portuguesas, o que inclui a Universidade Católica Portuguesa.

Tal como refere o CNAVES na sua página de Internet (CNAVES, 2005), as primeiras referências em Portugal a avaliação do ensino superior foram introduzidas em 1986.

Contudo, só em 1994 foi aprovada a Lei que lançou as bases para a constituição de um mecanismo de avaliação (Lei de Avaliação do Ensino Superior).

Se bem que anteriormente já algumas instituições haviam participado em experiências de avaliação com avaliadores internacionais (como a Universidade do Porto por volta de 1995), foi na sequência dessa lei que, em 1996 e em regime piloto, se avançaram com os primeiros exercícios de avaliação. Estes exercícios experimentais foram centrados nas licenciaturas em Física, Português/Francês, Engenharia Electrotécnica e Economia.

No espaço de um ano, iniciou-se o primeiro ciclo de avaliação coordenado pelo CNAVES, que se estendeu a todos os outros cursos e que terminou em 2000. É de referir que de todos estes exercícios apenas os cursos de Direito e Gestão/Administração não se concluíram, uma vez que não produziram Relatório de Avaliação Externa.

Este processo, que incidia sobre os cursos e estava organizado em grupos disciplinares mais ou menos latos, consistia na elaboração de um relatório de auto-avaliação pelas instituições, pela visita de uma Comissão de Avaliação Externa e pelo consequente Relatório de Avaliação Externa. Todas as fases do processo estavam orientadas por um guião específico, o que garantia a homogeneidade da informação solicitada e fornecida e a comparabilidade entre diferentes cursos avaliados dentro da mesma área temática. O processo era concluído com a possibilidade de contestação dos relatórios pelas instituições e pela formulação de correcções ao Relatório final pela Comissão de Avaliação Externa.

Se bem que não fosse atribuída uma nota final aos cursos assim avaliados, foram identificados pontos fortes e fracos e foram produzidas recomendações.

Um segundo ciclo iniciou-se em 2000 e está agora (2005) em fase de conclusão, sendo que neste segundo ciclo os juízos qualitativos das Comissões Externas, patentes nos Relatórios finais, foram bem mais explícitos, usando uma escala de A a E, o que originou a criação oficiosa de rankings de pares curso/instituição.

SOBRE OS OBJECTIVOS DE AVALIAÇÃO

A avaliação, parte integrante dos mecanismos de gestão e planeamento, deveria servir para a geração de um ciclo virtuoso de integração de inovações e mudanças tendo em vista a melhoria da qualidade do produto ou serviço prestado ou tendendo à satisfação dos envolvidos e à concretização da missão da respectiva instituição.

Contudo, tal como decorre de um relatório produzido por Amaral e Rosa (2004), a avaliação introduzida em 1996 teve inicialmente mais a ver com a falta de confiança das instituições, a necessidade de fornecer informações para os mecanismos de mercado, a cedência à lógica neo-liberal e às suas metodologias do que propriamente a uma cultura de inovação e mudança baseada na integração da noção da qualidade, a qual implica processos de avaliação.

Aliás, o facto de os objectivos do processo de avaliação não serem claros, uma vez que não se pode definir com clareza se servirá apenas para melhorar um curso ou instituição pela identificação e correcção dos seus pontos fracos e falhas, ou se, por outro lado, servirá para lhe atribuir um rótulo qualitativo ou até justificar a alocação de recursos financeiros por parte da Tutela.

Esta incerteza pode prejudicar a forma como as instituições reagem, e reagiram, ao processo introduzido.

A AVALIAÇÃO EFECTUADA

O trabalho de Amaral e Rosa (2004) tratou a forma como as instituições encararam o processo de avaliação. Foi possível reconhecer que na fase da auto-avaliação as instituições criaram para cada curso Comissões de Auto-Avaliação autónomas e livres de pressões, envolvendo contudo uma variedade de outros actores institucionais. Numa primeira fase, os relatórios de auto-avaliação reflectiram um primeiro exercício de auto-análise com ênfase na detecção de pontos fracos, ou seja, acentuando a tónica na vontade de produzir conclusões que contribuam para a melhoria da qualidade dos cursos avaliados. Mesmo de acordo com a auto-visão dos avaliados, os relatórios de Auto-avaliação não eram relatórios de relações públicas mas exercícios sinceros.

Por outro lado, verificou-se nesse mesmo trabalho, que as instituições vêem a acção das comissões externas como geradora de sugestões de melhorias, se bem que muitos dos avaliados nunca conseguiram ver os avaliadores como intervenientes individuais mas como representantes das instituições e cursos concorrentes.

Esse problema, que se acentua em algumas áreas de menor massa crítica, como o Direito, decorre das pequenas dimensões do nosso país e da proximidade entre avaliadores e avaliados.

Contudo, esta proximidade pode converter-se, e converteu-se em muitos casos, em interacções do tipo de benchmarking, uma vez que a comparação de experiências de realidades próximas tornava-se incontornável na visão impressa pelo avaliador, sob o prisma da sua própria experiência, do curso avaliado.

Exemplos disso podem ser encontrados em quaisquer dos relatórios de cada área.

ANÁLISE DE UM CASO

Uma breve e despretensiosa análise de um relatório de uma subcomissão (CAECF, 2003) permite assinalar os aspectos considerados relevantes nesta fase de avaliação, correspondente ao segundo ciclo de avaliação.

Nesse texto, foram assinaladas as diferenças de objectivos entre os diversos cursos, assim como de organização. Neste ponto, os avaliadores permitiram-se fazer considerações qualitativas sobre a organização institucional assacando diferenças a uma má organização de uma ou outra instituição, o que revela uma imposição de um modelo.

A recolha de dados quantitativos, por exemplo de procura dos cursos ou de nota de candidatura do último aluno colocado, permitiu pela primeira vez revelar diferenças significativas nesses parâmetros que contrariaram algumas ideias pré-concebidas.

A análise dos planos de estudo não revelou diferenças muito significativas mas aponta para diferenças nos equilíbrios entre áreas científicas, especialmente nos primeiros anos dos cursos.

O sucesso escolar, medido sob o prisma de uma pretensa taxa de eficiência (que se refere ao número de licenciados por ano em N, N+1, N+2, ... anos, o que me parece uma medida mista de eficácia, pois mede o número de alunos que finalizam, e eficiência, pois a distribuição pelos anos dá uma ideia da não eficiência do processo) foi um critério enfatizado, chamando-se a atenção para as diferenças e atribuindo-lhes possíveis causas.

Os recursos de apoio, como laboratórios, são tratados quase en passant mesmo quando se referem casos de instituições com condições precárias...

Os recursos sociais de apoio são referidos de uma forma qualitativa, sem recurso a quaisquer dados numéricos.

O corpo docente é esmiuçado nas suas categorias e qualificações mas, excepto num caso, da Universidade da Madeira em que se assinala que há responsáveis de disciplinas não doutorados, não é efectuado qualquer juízo sobre a estrutura do corpo docente. Por exemplo, em muitos casos assinala-se uma excessiva senioridade, mas são essas instituições/cursos que recebem nota máxima no item corpo docente...

As relações externas e a gestão da qualidade são tratadas com alguma leveza (por exemplo, foram atribuídas neste item notas B a instituições que simplesmente não possuem tal sistema) e sem dados concretos ao passo que no item empregabilidade são apresentados dados concretos e pormenorizados da... distribuição das médias de licenciatura! Se bem que neste ponto se revelam distorções perfeitamente incompreensíveis (a média de entrada mais elevada é a do Porto mas é nesta Universidade que se tem as mais baixas médias de licenciatura; em Lisboa há as maiores taxas de abandono mas é nesta Universidade que se atingem médias mais elevadas com moda nos 14 valores).

Curiosamente, no capítulo de conclusões e recomendações, não aparecem propostas concretas para os cursos mas sim propostas genéricas perfeitamente extrínsecas aos cursos avaliados e à sua área de intervenção, como é o exemplo da sugestão de criação de uma Ordem Profissional...

AS CONSEQUÊNCIAS DESTA AVALIAÇÃO: CRÍTICA E CONCLUSÃO

Regressemos à análise dos Processos de Avaliação (Amaral, 2004) e às observações acima expostas a partir do caso apresentado (CAECF, 2003).

Como demonstro neste trabalho, as avaliações incidem sobre questões pertinentes mas não transmitem essa importância nos relatórios produzidos. Por vezes, prendem-se com questões acessórias em vez de apontar para aquelas que mais importam na melhoria da qualidade. Nestes relatórios apresentam-se colecções de dados, muito importantes em exercícios de comparação, aos quais, no entanto, não são dados tratamentos coerentes com os objectivos da avaliação. Confundem-se neles critérios de eficiência e eficácia com aspectos de qualidade. Infelizmente, produzem-se cumulativamente classificações discutíveis e conclusões ou recomendações que em nada contribuem para a melhoria dos processos de ensino/aprendizagem ou para a prossecução das missões dos cursos e, em última análise das instituições.

Mas, significa isso que este processo está despido de virtudes? Pelo contrário. Como o Relatório produzido sobre o processo (Amaral, 2004) indica no seu ponto 4.4, foram criadas estruturas e sistemas de avaliação da qualidade e a noção de qualidade, a cultura da qualidade e as práticas de avaliação começam a ser assimiladas e a tornar-se endógenas às instituições e aos seus actores.

Se bem que algumas instituições (duas) começaram a introduzir processos de avaliação em 1991/92, a grande maioria delas começou a introdução desses processos em pleno primeiro ciclo do processo de avaliação do CNAVES, i.e., entre 1995 e 1999. Isso representa um importante contributo à partida: o processo imposto criou o reconhecimento interno da necessidade de avaliar. Todavia, se por um lado é de notar que a maioria destes processos surgiu de forma top-down, imposta por figuras ligadas às reitorias, por vezes o próprio Reitor, por outro pode afirmar-se a larga adesão que o processo granjeou e a variedade de contributos (estudantes, docentes, investigadores) que se reflecte na panóplia de campos onde a gestão da qualidade se aplica nas nossas instituições.

Na sequência destes processos, as instituições começaram a desenvolver mecanismos de aproveitamento dos seus resultados, com a formação de equipas e o recurso ao brainstorming para a resolução de problemas, assumindo hoje que procuram viver uma cultura da qualidade. Aliás, sobre si, as instituições têm a imagem de que os resultados das avaliações da qualidade influenciam o seu planeamento estratégico institucional, que nelas se encoraja o desenvolvimento de uma cultura da melhoria contínua da qualidade e que, daí resulta a capacidade da Universidade de responder a novos desafios e oportunidades, procurando melhorar o seu desempenho na resposta a estes.

Esta cultura é demonstrável pela participação voluntária em processos de auditoria, avaliação ou acreditação como os listados por Amaral e Rosa para as 13 Universidades do CRUP, participação essa que parece corresponder ao reconhecimento da necessidade de, por um lado, obter aconselhamento sobre os aspectos que podem ser melhorados e, por outro lado, certificar os níveis de qualidade atingidos para que se possa deles fazer notícia pública, importante passo para a atracção de estudantes, docentes e investigadores e financiamentos.

Uma série de boas práticas e mecanismos de qualidade são hoje prática corrente nas Universidades públicas, práticas as quais foram incentivadas pela participação no processo de avaliação, o que é mais uma importante contribuição do processo. Estas boas práticas, listadas no relatório citado, estendem-se da simples definição atempada de calendários e horários à instituição de debates sobre política estratégica e consequentes definições estratégicas, passando pela recolha e difusão de informações para exercícios de comparação e pela criação de Gabinetes de Qualidade ou de repositórios de normas internas e regulamentos, como o exemplo da base de dados LEGUA usada na Universidade de Aveiro.

Em suma, se as recomendações das Comissões de Avaliação não contribuíram por si para a introdução de melhorias nas avaliadas, a introdução de um processo periódico e sistemático obrigou-as a olhar para si próprias e para os seus processos, introduzindo mecanismos de avaliação, recolhendo informações, modificando práticas e reflectindo sobre os resultados da avaliação, gerando posturas de análise estratégicas.

Luís Carlos Moutinho da Silva

REFERÊNCIAS BIBLIOGRÁFICAS

Amaral A, Rosa MJ (2004) A alteração do relacionamento entre as instituições do ensino superior e o Estado e as suas consequências em termos de qualidade, Fundação das Universidades Portuguesas

Comissão de Avaliação Externa de Ciência Física (2003) Relatório Síntese da 3ª Subcomissão - Química e Química Industrial, Sociedade Portuguesa de Física e Sociedade Portuguesa de Química

Silva LCM (2005) Avaliação da qualidade do Ensino Superior - avaliar para quê?, trabalho da disciplina de Qualidade e Avaliação do Ensino Superior, Mestrado em Políticas e Gestão do Ensino Superior, Secção Autónoma de Ciências Sociais, Jurídicas e Políticas, Universidade de Aveiro

CNAVES, Portal de Internet, consultado em http://www.cnaves.pt/inicio.htm durante os meses de Março e Abril de 2005

Lei da Avaliação do Ensino Superior, Lei nº 38/94, de 21 de Novembro