Inquirir quem, o quê, como e para quê?

O único levantamento dos instrumentos de inquirição que conhecemos foi feito pelo SNESup aquando da realização, em 2004, do Encontro sobre Avaliação Pedagógica no Ensino Superior, para preparação do qual se solicitou a todas as instituições um exemplar dos modelos de inquérito pedagógico em utilização.

Foram recebidas respostas de 102 .instituições, sendo 35 do ensino superior universitário público, 37 do ensino superior politécnico público e 30 do ensino superior particular, cooperativo e concordatário, tanto universitário como politécnico.

Quadro I - Informação disponivel

Na coluna "Enviou modelo" incluem-se todos os casos em que as instituições nos enviaram modelos de questionários utilizados em inquéritos aos alunos com vista a conhecer a opinião destes sobre o ensino e a docência.

Note-se que em alguns casos o lançamento ou não de inquéritos é ainda decidido facultativamente a nível de cada disciplina, ou, sendo generalizado, processa-se em moldes totalmente diferentes de disciplina para disciplina ou de departamento para departamento.

Incluímos na coluna "Tem modelo mas não enviou" as situações de três instituições que indicaram utilizar o questionário da ADISPOR, de três instituições que  remeteram para os procedimentos do Instituto Politécnico do Porto, e de duas outras que  indicaram ter questionário próprio, em reformulação, mas não  enviaram os modelos utilizados.

Das nove instituições que foram consideradas como não tendo, duas indicam tê-lo em elaboração e outra dispunha apenas de um inquérito aos alunos do primeiro ano, com vista à obtenção de dados sobre os seus percursos e expectativas.

O conjunto das respostas recebidas revela um grande interesse pela avaliação pedagógica, uma grande diversidade de soluções, e, fundamentalmente, uma notável vitalidade e capacidade criativa das instituições.

Embora parte das instituições se baseie nas listas de questões propostas pelo Conselho Nacional de Avaliação do Ensino Superior (CNAVES) e pela Associação dos Institutos Superiores Politécnicos Portugueses (ADISPOR), o que se explica por os inquéritos estarem a ser realizados no âmbito dos processos de avaliação das instituições, ou terem sido introduzidos a partir da concretização desses processos, ou nos questionários utilizados por instituições congéneres, é frequente que se proceda à sua adaptação através da inclusão de novas questões ou da supressão de outras, ou simplesmente, refraseando algumas das questões retidas.

Neste contexto, parece não haver lugar à existência de diferenças significativas entre os procedimentos utilizados nos subsistemas público e privado e entre os subsistemas universitário e politécnico, ou, a existirem tais diferenças, é de admitir que possam ser explicadas por outros factores, tais como a dimensão dos cursos e a existência ou não de equipas docentes - e não apenas de um único docente - responsáveis por uma mesma disciplina.

Não se verifica, em regra, uniformidade de procedimentos, no seio da mesma Universidade ou do mesmo Instituto Politécnico, sendo o caso do IPP o único em que as instituições abdicam da possibilidade de organizarem os seus próprios procedimentos. A Universidade do Minho criou procedimentos uniformes para todas as escolas, aliás frequentemente citados de forma elogiosa, mas a Escola de Ciências de Saúde utiliza um inquérito autónomo.

Não existe, também, uniformidade de procedimentos de acordo com a área científica predominante na instituição. Para não ir mais longe, as Faculdades de Psicologia e Ciências de Educação e as Escolas Superiores de Educação apresentam situações muito diferentes, desde a inexistência de inquéritos até ao desenvolvimento de modelos de questionário bastante elaborados.

Inquirir quem?

Nas 85 instituições referidas anteriormente inquirem-se os alunos sobre o ensino e a docência.

Em 18 dessas instituições inquirem-se também os docentes sobre as condições em que decorre o ensino. De modo geral, não são fornecidas indicações sobre o eventual cruzamento de informações entre os inquéritos aos alunos e os inquéritos aos docentes, admitindo-se que tal ocorra, pelo menos, no âmbito dos processos de avaliação das próprias instituições ou cursos.

 Em 5 instituições inquirem-se os antigos alunos e diplomados, em 5 os já diplomados que frequentam estágios, cursos de pós - graduação ou de especialização, mestrados ou doutoramentos, em 2 as entidades empregadoras.

Nas situações em que são inquiridos os alunos, a inclusão de questões que visam determinar aspectos específicos do percurso do aluno ou do desempenho deste pode revelar-se de interesse uma vez que

• dá sinais sobre o entendimento que a instituição tem da responsabilidade dos próprios alunos no processo de ensino /aprendizagem;
• pode permitir um cruzamento de dados com a apreciação que os alunos fazem do ensino ou da docência.

Na avaliação do ensino e da docência não deveriam pesar de igual forma a opinião dos alunos que vão regularmente às aulas e que trabalham fora das aulas e a opinião dos que não fazem uma coisa, ou outra, ou nem uma nem outra.

Poder-se-ia seleccionar como indicador do grau de participação dos alunos a percentagem de aulas frequentadas, pergunta essa que numa boa parte dos questionários é aliás a única pergunta que é feita sobre o aluno, e segmentar-se o apuramento de resultados em função dos escalões de percentagem.

Este procedimento não invalidaria que se colocassem questões sobre as razões da não frequência, que podem até estar relacionadas com a "reputação" ou com um primeiro contacto negativo com a disciplina ou o docente. Todavia, se é elevado o número de instituições que inquirem os alunos sobre a sua assiduidade e participação nas aulas, ou sobre hábitos de trabalho extra-aulas, é reduzido o número de instituições que inquirem os alunos sobre as razões da sua abstenção ao trabalho. Na verdade, falta qualquer referência a aspectos relacionados com o nível "aluno" em 18 dos 85 casos analisados, e mesmo assim em muitos dos restantes a única referência é a feita à taxa de frequência das aulas.

No entanto, instituições há que lançam inquéritos específicos sobre o percurso anterior e condições de vida dos seus alunos, pondo em evidência as suas repercussões no sucesso académico.

Inquirir o quê?

Os questionários adoptados espelham implicitamente o entendimento que as instituições fazem das responsabilidades dos diferentes intervenientes no processo de ensino / aprendizagem, entendimento esse que veiculam junto dos seus públicos - alvo, designadamente dos alunos.

Dever-se-ia distinguir

• as responsabilidades da instituição, que pertencem, conforme os casos, a um órgão eleito ou nomeado;
• as responsabilidades da direcção de curso, que podem estar diluídas, p.ex. se não há direcção de curso e se é o conselho científico que articula departamentos e secções constituídos numa base de área científica (assegurando os respectivos docentes a leccionação de diferentes cursos), ou que pelo contrário podem estar concentradas num um órgão bem definido, por exemplo um director de curso ou a direcção de um determinado departamento, numa instituição em que exista uma correspondência entre os cursos e os departamentos (leccionando os respectivos docentes só as "disciplinas" do seu departamento");
• as responsabilidades da coordenação da disciplina, que poderão não se recair sobre o docente que assegura a leccionação, quando existir mais do que um docente a leccionar a disciplina, ou quando a coordenação for exercida pelo docente mais categorizado.
• as responsabilidades do docente que assegura a leccionação, e que se relaciona directamente com os alunos;
• a responsabilidade dos próprios alunos

Na grande maioria (63 em 85) dos questionários analisados esta delimitação é feita em maior ou menor grau, no entanto

• é muito frequente nos questionários analisados a atribuição ao "docente" de responsabilidades que são do nível de coordenação da disciplina (ex: a bibliografia recomendada, o interesse dos temas leccionados) ou à coordenação da disciplina de responsabilidades que são do nível da direcção de curso ou até da instituição (a articulação entre disciplinas, o número de alunos por turma, a adequação das salas de aula);
• ao divulgar inquéritos que pressupõem que certos aspectos da actividade de ensino ou a obtenção de certos resultados são da responsabilidade do docente, a instituição está explicitamente a condicionar o seu desempenho, eventualmente a reservar-se o direito de o avaliar de acordo com critérios correspondentes, e a dar sinais aos alunos sobre aquilo que têm direito a exigir dor docente.

Mesmo após se proceder a um reagrupamento de questões por níveis de responsabilidade se verifica que os questionários se debruçam essencialmente sobre aspectos que têm a ver com os níveis "disciplina e docente"

• o falta qualquer referência a aspectos relacionados com o nível "instituição" em o nível "instituição" em 24 dos 82 casos analisados, e mesmo assim em muitos dos restantes a única referência é a feita à qualidade dos equipamentos laboratoriais;
• o falta qualquer referência a aspectos relacionados com o nível "curso" em 25 dos 82 casos analisados, e mesmo assim em muitos dos restantes a única referência é a feita à articulação entre disciplinas, que muitos questionários incluem na avaliação da disciplina, e até do docente (1 caso);

Em contrapartida instituições há que criaram instrumentos e momentos de recolha de opiniões próprios para os níveis "instituição", "curso" e "disciplina / docente";

Também será importante verificar se existem questões diferenciadas para as aulas teóricas, as aulas teórico-práticas ou as aulas práticas. Essa diferenciação pode ser efectiva, isto é as questões serem diferentes, meramente formal, isto é, em secções separadas do modelo mas sendo idênticas as questões, ou não ser feita.

Inquirir como?

O número de questões definido oscila bastante de instituição para instituição:

Quadro II - número de questões

Obs.: Não foram consideradas três  instituições dado existirem em ambos os casos, vários instrumentos com questões de conteúdo parcialmente sobreposto ou metodologias totalmente díspares de departamento para Departamento.

Quanto à opção entre a utilização de questões de resposta fechada e a utilização de questões de resposta aberta, verificou-se das 85 instituições que responderam, 40 usam questionários exclusivamente com questões de resposta fechada, 44 combinam questões de resposta fechada e de resposta aberta, e apenas em 1 caso se têm apenas questões de resposta aberta.

O número de opções admitido para as questões de resposta fechada varia assinalavelmente de instituição para instituição, e até , dentro de cada questionário, se utiliza por vezes mais do que uma modalidade. Agrupando as instituições em termos do número de opções mais frequente e do segundo número de opções mais frequente, teremos

Quadro III - Nº de opções de resposta

Obs: um dos questionários só inclui questões de resposta aberta.

È de referir que a maioria dos questionários (53 em 85 ) não fazem distinção entre as questões relativas a aulas teóricas, teórico-práticas e práticas.

Quadro IV - Diferenciação segundo o tipo de aulas

Nos questionários onde tal diferenciação é feita , é reduzido (10) o número de casos em que a formulação das questões apresenta diferenças. Nos restantes casos (22) a diferenciação é feita, mas é meramente formal, ou seja, as características que se espera que o docente imprima à leccionação não se modificam consoante o tipo de aulas.

Apenas 18 das 85 instituições forneceram informação, para além das meras "instruções de preenchimento", sobre os procedimentos seguidos na recolha dos questionários, no apuramento dos resultados e na sua divulgação.

Inquirir para quê

O SNESup tem informação que estes questionários conhecem diferente tratamento em termos de divulgação interna, sendo comum a sua análise pelos órgãos que provem o seu lançamento e a elaboração de apuramentos que são fornecidos aos responsáveis das disciplinas e aos docentes concretamente em causa.

Não temos conhecimento de situações em que esta informação seja formalmente utilizada em processos de nomeação definitiva. Em contrapartida, estamos a par de casos, sobretudo em escolas politécnicas públicas, em que os resultados, sem qualquer validação e sem sujeição a contraditório, são utilizados em processos de "seriação" de contratados com vista a redução de efectivos, com a agravante de esta valoração no mínimo controversa da "componente pedagógica" ter mais impacto do que a valoração das habilitações científicas superiores detidas pelos visados.

Chamamos finalmente a atenção para que enquanto que os juízos formulados a propósito de questões de resposta fechada são normalmente, e apenas, objecto de tratamento estatístico, os outros juízos são necessariamente transcritos. Sendo os questionários de resposta anónima, é necessário ponderar se a publicitação dos resultados dos inquéritos é ou não aceitável do ponto de vista do princípio da responsabilidade. Se o número de inquiridos e as condições de recolha eliminarem ou minimizarem as hipóteses de coligação de inquiridos, a divulgação das questões de resposta fechada não criará riscos significativos em termos de ofensa de direitos de imagem. O mesmo não se poderá dizer quanto às questões de resposta aberta ou semi-aberta.

(Texto baseado no relatório de tratamento dos modelos de questionário, recebidos para o Encontro sobre Avaliação Pedagógica realizado em 2005, incluído no dossier sobre Avaliação Pedagógica publicado no site http://www.snesup.pt/ . Recomendamos também a leitura de  "Análise Empírica dos Instrumentos e Estratégias de Avaliação Pedagógica no Ensino Superior", de Adriano Brandão, Natacha Teixeira, Sara Raquel Almeida e Catarina Melato e de "O ‘bom professor' paira algures por entre questões aos estudantes: análise de questões dos inquéritos de avaliação pedagógica de instituições de Ensino Superior" de Paulo Jorge dos Santos Lopes, publicados no nº 12 da Ensino Superior - Revista do SNESup , Maio - Junho de 2004)