Bien des professeurs appréhendent les évaluations de l’enseignement par les étudiants (ÉEE) anonymes. Pour un trop grand nombre d’entre eux — lire : femmes, contractuels, membres d’un groupe revendiquant l’équité ou, pire encore, les professeurs réunissant toutes ces caractéristiques, le moindre bémol peut mettre fin à l’emploi ou constituer un obstacle sérieux sur la route du professorat.
D’où le vif intérêt, au Canada et dans le monde, à l’égard d’une décision arbitrale rendue à la fin de juin à propos d’un différend entre l’Université Ryerson et son association du personnel académique. L’arbitre a confirmé ce que toutes les études nous disaient depuis longtemps : les ÉEE ne sont pas un baromètre qui permet de mesurer l’efficacité de l’enseignement d’un professeur et ne devraient donc pas être un facteur dans la prise de décisions concernant les promotions et la permanence.
« Cette décision arbitrale est importante et nous espérons qu’elle aura un effet d’entraînement. Les universités ne devraient pas fonder leurs décisions d’accorder une promotion ou la permanence sur ces sondages d’opinion des étudiants », a déclaré le directeur général de l’ACPPU, David Robinson.
L’association du personnel académique et les administrateurs de l’Université ont été divisés sur cette question à chaque négociation depuis 2003. Faute d’une entente, les deux parties ont mis en place deux solutions, soit un comité mixte et un projet pilote continu, pour répondre aux préoccupations liées aux sondages. L’association a fini par déposer un premier grief en 2009, puis un deuxième en 2015. Les négociations de 2015-2016 n’ont rien réglé, pas plus que la procédure de médiation ultérieure. Finalement, le différend a été soumis à l’arbitre William Kaplan à Toronto en avril dernier.
L’Université Ryerson a alors soutenu qu’« en dépit des problèmes posés par les ÉEE, elles fournissent des renseignements pertinents » pour évaluer les professeurs. L’Université a fait remarquer que les ÉEE « ne pouvaient être déterminantes dans les cas de promotion ou de permanence, mais qu’elles mettaient au jour des tendances et des préoccupations — elles envoyaient des signaux d’alerte — amenant à pousser l’examen du dossier plus loin ».
William Kaplan n’a pas été convaincu. Dans sa décision, il a indiqué que la preuve présentée par l’association du personnel académique faisait clairement ressortir « les limites inhérentes importantes » des sondages des étudiants. L’association avait soumis des témoignages d’experts et des articles de revues avec comité de lecture démontrant que de nombreux facteurs, surtout les caractéristiques personnelles comme la race, le sexe, l’accent, l’âge et l’apparence physique, faussaient les résultats.
« Les témoignages d’experts présentés à l’audience établissent de façon convaincante que les ÉEE ne peuvent évaluer les aspects les plus importants de la prestation de l’enseignement et de son efficacité, a écrit William Kaplan. Pour évaluer l’efficacité de l’enseignement — particulièrement dans le contexte de l’octroi de la permanence et d’une promotion, les ÉEE sont des outils au mieux imparfaits et, au pire, carrément partiaux et aucunement fiables. »
Ces dernières années, de plus en plus de recherches ont semé le doute sur la fiabilité des sondages des étudiants. Une étude publiée plus tôt cette année dans la revue PS : Political Science & Politics a montré que deux cours en ligne d’introduction à la science politique identiques, l’un donné par un homme et l’autre par une femme, avaient obtenu des évaluations très différentes.
Ses auteurs Kristina Mitchel et Jonathan Martin ont découvert que, non seulement les étudiants évaluent-ils leurs professeurs différemment selon leur sexe, mais qu’un professeur masculin est statistiquement beaucoup mieux noté qu’un professeur féminin. Les mots employés dans les questionnaires ouverts officiels d’évaluation des cours et les commentaires anonymes formulés en ligne reflètent des préjugés sexistes, les étudiants étant plus enclins à considérer que les femmes ont moins d’expérience et d’instruction que les hommes, ou sont des professeures moins accomplies.
Dans une méta-analyse parue l’an dernier dans Studies in Educational Evaluation, Bob Uttl (Université Mount Royal), Carmela A. White (UCB-Okanagan) et Daniela Wong Gonzalez (Université de Windsor) ont constaté que les étudiants n’acquièrent pas plus de connaissances auprès de professeurs mieux notés. Il n’y a donc pas de corrélation entre les opinions des étudiants et leur apprentissage.
L’association du personnel académique a déposé en preuve deux rapports commandés par l’Union des associations des professeurs des universités de l’Ontario, qui ont conclu au manque de fiabilité des ÉEE. L’ex-directeur du Centre de l’enseignement et de l’apprentissage à l’Université de la Californie (Berkeley) Richard Freishart et le statisticien Philip B. Stark (Berkeley) ont mis en lumière des failles importantes dans la méthodologie des sondages en plus des questions d’éthique concernant la confidentialité et le consentement éclairé qui faisaient entrevoir des atteintes aux droits de la personne mettant en cause la race, le sexe, l’origine ethnique, l’accent, l’âge et l’apparence physique.
« Selon moi, la preuve établit clairement les failles des questionnnaires d’évaluation par les étudiants, dit Sophie Quigley, une professeure d’informatique à l’Université Ryerson, qui était l’agente de griefs à l’association en 2009. Des professeurs peuvent juger que certaines réponses peuvent contribuer à leur amélioration. Après tout, nous sommes, pour la plupart, intéressés à connaître l’opinion des étudiants sur des cours auxquels nous consacrons tant de temps. Si les sondages des étudiants servaient uniquement à cela et étaient lus seulement par le professeur concerné, ils pourraient jouer un petit rôle dans le milieu académique. Mais baser la permanence sur ces sondages, c’est aller beaucoup trop loin et il est impensable que la carrière de nos collègues dépende de cet instrument très lacunaire. »
Les administrations des universités commencent à prêter une oreille attentive. En mai dernier, l’Université de la Californie du Sud a annoncé qu’elle cesserait de tenir compte des ÉEE pour l’octroi des promotions et mettrait plutôt en place le modèle d’évaluation par les pairs. Elle continuera de les utiliser pour « obtenir les commentaires des étudiants sur leur expérience d’apprentissage et pour fournir un contexte, mais pas comme indicateur principal de l’efficacité de l’enseignement lors de l’évaluation des professeurs, compte tenu de leur sensibilité aux préjugés implicites et de leur manque de validité comme mesure de l’enseignement », a écrit le vice-recteur aux affaires académiques et professorales dans une communication adressée aux présidents du sénat et du conseil facultaire.
L’Université de l’Oregon envisage aussi d’écarter les notes chiffrées attribuées par les étudiants dans les examens des dossiers de permanence et de promotion. Elle planche actuellement sur un cadre d’évaluation par les pairs. Comme on peut le lire sur son site web, ce cadre aurait pour « objectif d’améliorer l’équité et la transparence dans les évaluations de l’enseignement pour les nominations au mérite, le renouvellement des contrats, les promotions et la permanence, tout en fournissant parallèlement des outils pour l’amélioration continue des cours ».
L’arbitre Kaplan a souligné que les ÉEE peuvent quand même avoir une certaine valeur comme principale source d’informations provenant des étudiants sur leur expérience éducative. « Les résultats des ÉEE peuvent renseigner sur bien des aspects, comme le sens de la communication, le rattrapage des absences, les travaux remis rapidement, le plaisir et l’expérience des étudiants en classe, si c’est difficile ou facile, sans parler de l’engagement global du professeur ». Il ajoute toutefois une mise en garde : les données devraient être « soigneusement mises en contexte » et « il importe de bien comprendre les forces et les faiblesses de l’ÉEE ».