Back to top

L’obsession des mesures

L’obsession des mesures

iStock.com / peterhowell

Paramètres, indicateurs, indices. Classements universitaires ou collégiaux. Analyse bibliométrique de la recherche. Les entreprises privées et les administrations publiques ou autres ne jurent que par les mesures pour évaluer le rendement des établissements, des départements, d’un professeur même. Les controverses suscitées par l’utilisation — ou la surutilisation, diront certains — de mesures font réagir les associations de personnel académique et leurs membres.

« Une institution fait une grosse erreur lorsqu’elle se re­dé­finit en fonction des classements universitaires. Quand seulement 15 % des étudiants sont influencés par les classements, il est futile de dépenser de l’énergie pour s’y tailler une place. Mieux vaut viser l’excellence », dit Yves Gingras, professeur et titulaire de la Chaire de recherche du Canada en histoire et sociologie des sciences à l’Université du Québec à Montréal, et auteur du livre Les dérives de l'évaluation de la recherche : Du bon usage de la bibliométrie. « Les universités qui se préoccupent trop des classements perdent de vue leur mission et se font imposer des valeurs qui leur sont étrangères. »

Selon lui, les universités devraient s’apercevoir que les classements sont des écrans de fumée et s’en éloigner. « La décision de l’Université de Toronto de ne plus participer à l’enquête annuelle de Maclean’s parce qu’elle devait y consacrer trop de temps et de ressources a eu d’énormes retombées dans ma province. Depuis, nos universités n’accordent pas tellement d’importance à ce palmarès. Et plus vite elles se retireront du classement de Shanghai, mieux elles se porteront. »

Yves Gingras dit toutefois comprendre l’obsession de certaines universités pour les mesures. Beaucoup de projets de recherche internationaux sont des partenariats et les universités d’Europe et d’Asie refusent souvent de collaborer avec les chercheurs d’une université moins bien cotée à l’échelle internationale. « Mais, soyons francs, au Canada, les trois conseils subventionnaires sont nos principaux bailleurs de fonds et ce qui les intéressent, ce n’est pas que votre département soit parmi les 100 premiers au monde dans le domaine, mais plutôt votre CV et votre dossier de recherche. »

Les administrateurs sont aussi fortement tentés de mesurer le rendement individuel. L’utilisation de mesures a d’ailleurs été l’un des grands enjeux à l’origine du débrayage, l’an dernier, des membres de l’association du personnel académique de l’Université du Manitoba (UMFA).

« Finalement, nous avons remporté une victoire en demi-teinte. L’actuelle convention collective ne protège pas tant que cela les membres contre les mesures. Nous avons réussi à y inscrire que l’utilisation de mesures ne peut être le seul critère d’avancement ou d’évaluation du rendement. Mais la démarche en cours dira si notre “victoire” a été déterminante ou pas », explique le président sortant de l’UMFA, Mark Hudson.

Il fait référence au comité composé de trois représentants de l’association et de l’administration respectivement qui se penchera sur la collecte et l’utilisation de mesures de l’impact des recherches dans les processus d’évaluation. Ce comité présentera ses conclusions et ses recommandations, et si la majorité se prononce contre l’utilisation de mesures, la convention collective sera modifiée en ce sens.

« Le comité doit déterminer si les évaluations quantitatives de la recherche posent des risques importants ou non. Nous savons toutefois déjà — grâce à des recherches — qu’il existe un risque de discrimination fondée sur le sexe et la race. Et même si une seule personne était victime de discrimination, l’université ne devrait pas pouvoir utiliser des mesures comme outils d’évaluation de son rendement ou comme critères de promotion. »

Les mesures ont aussi été une source de conflits ailleurs dans le monde académique. En Nouvelle-Zélande, le gouvernement a créé en 2003 un fonds pour la recherche selon les performances, le Performance-Based Research Fund, pour financer la recherche au niveau postsecondaire. Il se sert de mesures pour évaluer chaque chercheur et pour classer les disciplines et les universités.

Depuis, tout va de mal en pis pour le personnel académique, selon la Tertiary Education Union. « Si nous ne fixons pas de limites, le gouvernement continuera de nous évaluer selon des paramètres arbitraires comme les taux de progression et d’achèvement, ce qui déprécie notre système d’éducation tertiaire et notre profession », déclare la présidente du syndicat Sandra Grey.

Encouragée par l’arrivée d’un nouveau gouvernement en Nouvelle-Zélande, Mme Grey espère que les mesures seront mises au rancart. « Nous voulons que les mesures du rendement cessent d’être une obsession pour que l’enseignement, la recherche et l’apprentissage représentent plus que le taux d’achèvement et le nombre d’articles publiés dans des revues internationales. »

Au Royaume-Uni, le débat sur l’utilisation des mesures a lieu depuis des années. Un dispositif d’évaluation de la recherche universitaire au moyen de mesures, le Research Excellence Framework ou REF, a été mis en place en 2014. Au dire du gouvernement, le REF impose une reddition de comptes pour les investissements publics en recherche, dont il démontre aussi les retombées; fournit des données de référence et établit des baromètres de la réputation destinés au secteur de l’éducation supérieure et au public; et sert de guide pour la répartition sélective du financement de la recherche.

L’enquête publiée par Times Higher Education en 2015 révèle qu’environ une université sur six au Royaume-Uni s’est dotée de cibles basées sur des mesures. « Les mesures, qui sont chiffrées, donnent au moins une impression d’objectivité, et elles ont pris une importance croissante dans la gestion et l’évaluation de la recherche depuis la mise en ligne, au début des années 2000, des bases de données sur les citations, comme Science Citation Index, Scopus et Google Scholar », écrit le journaliste Paul Jump.

Pour David Robinson, directeur général de l’ACPPU, la tendance à la mesure est préoccupante. « On ne peut évaluer, gérer ou contrôler le personnel académique seulement par des mesures. »

Il fait remarquer que « les indicateurs de rendement peuvent particulièrement désavantager les universitaires autochtones, les membres des groupes revendiquant l’équité, les travailleurs académiques aux cheminements hétérodoxes et les chercheurs non conformistes, soit par le sujet étudié ou par les méthodes employées. »

Il y a plus encore : en mesurant la production scientifique, on ne tient pas compte de la diversité et de la globalité des activités savantes. Par exemple, les sciences naturelles et biomédicales se prêtent mieux aux mesures, parce que les travaux sont publiés dans les revues savantes. Les chercheurs en sciences humaines et sociales ont plutôt tendance à publier des livres. Mais le nombre de citations de livres est plus bas que celui de citations de revues.

Mark Hudson est d’accord. « Il ne s’agit pas simplement de syndicats qui défendent leurs membres. Ce genre d’indicateur d’impact avantage un type de recherche, privilégie des conclusions originales, qui séduisent davantage les éditeurs. Cela va à l’encontre du scepticisme scientifique censé être présent et florissant dans les universités. »

David Robinson soutient que l’examen par les pairs devrait demeurer le principal mécanisme d’évaluation et que les mesures ne devraient pas être un facteur considéré dans les décisions relatives à l’embauche, à la permanence et à la promotion, à la rémunération, aux conditions de travail ou aux sanctions disciplinaires.

« Il est très dangereux de s’en remettre à des mesures pour évaluer le travail d’une personne, ajoute Yves Gingras. Si votre recherche est très pointue, son indice est inévitablement bas. Si, par exemple, vous étudiez la théorie des nœuds, vous faites partie d’un groupe très restreint de spécialistes du sujet dans le monde — une cinquantaine tout au plus. Le processus d’examen par les pairs est encore la meilleure méthode. Vos pairs n’ont pas besoin de connaître votre indice h pour déterminer la valeur de votre article. Ils ont déjà la réponse, parce que c’est leur domaine. »

« On peut bien utiliser une mesure, mais il faut alors en dégager une vue d’ensemble et se servir d’un échantillon com­parable. C’est une erreur de tout mesurer pour obtenir le résultat global d’un département ou d’une université. Cela revient à comparer des pommes avec des oranges et des tomates. Cela n’a pas de sens. Mais si vous voulez comparer le nombre de recherches en cours dans votre département d’astrophysique avec celui d’autres départements, vous pouvez mesurer le nombre de publications de votre personnel dans les bases de données en astrophysique. Cela s’appelle comparer des pommes avec des pommes. »

En relation

/sites/default/files/styles/responsive_low_constrict/public/newsjanuary2018-unesco.png?itok=EDVPcPWK
janvier, 2018

Actualités / L’ACPPU célèbre les 20 ans de la Recommandation de l’UNESCO

Le 25 novembre, les délégués à l’assemblée du Conseil de l’ACPPU ont participé à une célébration... Lire la suite
/sites/default/files/styles/responsive_low_constrict/public/interview-martindevitt.png?itok=p91qLjtv
janvier, 2018

Entretien / Martin Devitt

Le 20 novembre 2017, les 12 000 professeurs, conseillers et bibliothécaires des 24... Lire la suite
/sites/default/files/styles/responsive_low_constrict/public/presidentatcouncil.png?itok=YeBuCn62
janvier, 2018

Le mot du président / Lutter contre le changement en 2017

par James Compton « Plus ça change, plus c’est pareil. » Cet adage populaire résume-t-il bien la... Lire la suite