Sophie Quigley est professeure d’informatique à l’Université Ryerson. En 2009, alors qu’elle était agente des griefs de l’association du personnel académique de Ryerson, elle a déposé un grief relativement à l’emploi des évaluations de cours pour la prise de décisions liées à l’emploi, comme la promotion ou l’octroi de la permanence. En juin 2018, l’affaire s’est finalement conclue par une sentence arbitrale déclarant l’utilisation des évaluations de cours comme biaisée et discriminatoire, à proscrire lorsqu’il s’agit d’évaluer l’efficacité de l’enseignement à des fins de promotion ou d’octroi de la permanence à Ryerson.
Ce conflit entourant l’utilisation de questionnaires d’évaluation de l’enseignement par les étudiantes et étudiants à Ryerson remonte à de nombreuses années — avant même le dépôt du grief. Que s’est-il passé durant toutes ces années?
Avant même qu’elles donnent lieu au dépôt d’un grief, ces évaluations de cours et de l’enseignement étaient l’objet de négociations avec l’administration. En 1994, le questionnaire devenait partie intégrante de la convention collective qui exigeait également l’intégration des réponses dans des rapports annuels. En conséquence, l’administration a commencé à y avoir recours systématiquement lors des évaluations pour l’octroi de la permanence ou d’une promotion.
Les questionnaires imprimés ont fait place à des questionnaires en ligne. Quel en a été l’effet?
Dès que les questionnaires ont été mis en ligne, tout a changé. Lorsque les questionnaires étaient remplis sur papier, les membres du corps professoral recevaient la compilation des résultats par section de cours uniquement. À partir de 2007, non seulement retrouve-t-on les questionnaires en ligne, mais aussi les résultats. L’administration a commencé à produire des rapports électroniques comprenant de nombreux tableaux synthèses faisant état de moyennes. Chaque membre du corps professoral reçoit maintenant une page faisant état de ses moyennes par section, par cours et par personne. L’administration produit aussi des tableaux de moyennes pour les départements, les facultés et l’Université.
En quoi était-ce inapproprié de produire des moyennes?
Deux choses : notre convention collective stipule que les rapports doivent être sous forme de distributions des fréquences, à savoir sous forme de tableaux qui associent à chaque catégorie de réponse dans une question le nombre de réponses reçues. C’est parce que la distribution des fréquences brosse un tableau exact des réponses contrairement à la moyenne qui n’est pas statistiquement valide dans ce cas et peut induire en erreur. La convention collective précise également quels sont les éléments qui peuvent être utilisés pour les évaluations aux fins d’octroi de la permanence et on n’y retrouve nullement des éléments qui permettent la comparaison entre la qualité d’enseignement d’un professeur par rapport à celle de ses collègues.
Mathématiquement parlant, ces moyennes étaient donc incorrectes?
Ces moyennes ne sont pas valides sur le plan statistique et c’est sur ce postulat qu’était fondé notre grief. Le questionnaire d’évaluation de cours utilisait une échelle Likert en cinq points — qui allait, pour la plupart des questions, de « totalement d’accord » à « totalement en désaccord ». Or, dans le questionnaire original en format imprimé, on utilisait des chiffres de 1 à 5. Comme l’ont expliqué nos témoins experts durant l’arbitrage, ces données sont ordinales, c’est-à-dire qu’elles représentent simplement l’ordre des cinq réponses, par opposition à des données échelonnées sur une échelle d’intervalle qui représentent des quantités. Des moyennes calculées à partir d’une échelle d’intervalle fournissent de l’information utile dans certaines situations, mais à partir de données ordinales c’est un non-sens de calculer des moyennes. Or, c’est malheureusement ce qu’on a tendance à faire avec les données des évaluations de cours. Les moyennes n’étaient même pas calculées correctement : dans les cours ayant plusieurs sections, les moyennes de chaque section étaient amalgamées en une seule moyenne pour le cours sans pondération fondée sur le nombre de répondants par section.
Comment l’administration utilisait-elle ces moyennes?
Elle leur conférait un caractère pratiquement sacré, soit extrêmement signifiant. Elle attribuait une grande importance à d’infimes écarts numériques, comparant des moyennes personnelles avec des moyennes agrégées, créant des critères d’octroi de la permanence basés sur des moyennes spécifiques. Nous avons vu des évaluations de l’enseignement qui comportaient des arguments absurdes, comme « dans ce département/cette faculté, nous nous attendons à ce que nos membres aient un pointage de 2,5 à la question X et votre pointage et de 2,6. Vous devrez donc améliorer votre enseignement pour répondre aux critères d’octroi de la permanence ». D’emblée, nous pensions que l’administration conviendrait que ce type d’analyse superficielle était dangereux et néfaste. Nous avons tenté d’obtenir son aide pour corriger la situation et montrer aux évaluateurs les limites de l’instrument. Nous avons plutôt constaté que non seulement l’administration n’était pas d’accord avec nous, mais qu’elle souscrivait à ce type d’analyse. Nous avons donc déposé un grief.