Elle vaut quoi, ta recherche ?

Pour chaque recrutement, stabilisation ou promotion dans la carrière académique ou scientifique, mais aussi lors de chaque demande de financement de projet de recherche individuel ou collectif, il convient d’évaluer et souvent de départager les candidats d’après l’excellence de leurs activités antérieures. À cet égard, un souci d’objectivation de l’évaluation et de justification des décisions prises a fait émerger au fil des années un certain nombre d’indicateurs chiffrés de la qualité du profil scientifique : nombre de publications et communications, facteurs d’impact, nombre de mois passés dans des séjours de recherche à l’étranger, nombre et hauteur de financements des projets de recherche, taille et attractivité internationale de l’équipe dans lequel le chercheur est inséré, etc.

Ces indicateurs s’avèrent d’autant plus utiles que ni les commissions d’évaluation ni les experts qu’elles mandatent n’ont généralement le temps de se plonger dans le détail des travaux effectivement réalisés par les candidats et, par exemple, de lire leur thèse et leurs principales publications. Dans le cas (très fréquent) de commissions pluridisciplinaires, ces indicateurs chiffrés permettent aussi aux évaluateurs de se faire une idée de la production scientifique de chercheurs issus d’autres domaines de compétence, dont ils seraient tout simplement incapables d’évaluer les travaux même s’ils avaient le temps de les lire. Bref, en favorisant la convergence des avis d’évaluation et en autorisant la comparaison, et même le classement, de dossiers de candidature hétérogènes, les indicateurs chiffrés offrent aux évaluateurs le double confort de faciliter le consensus et de rassurer chacun sur l’“objectivité” des raisons qui président aux choix finaux.

En dépit de leurs avantages, les indicateurs mis en place – dont le fameux h-index, désormais prépondérant dans plusieurs disciplines – sont remis en question par de nombreux travaux critiques, qui en dénoncent les biais méthodologiques, parfois majeurs, mais aussi les effets pervers, avec notamment l’adoption de stratégies de recherche visant à maximaliser la performance à l’égard de ces indicateurs chiffrés au détriment de tout autre souci de qualité scientifique. Des techniques manifestement illégitimes pour “gonfler les chiffres” ont été dénoncées sur le plan théorique et parfois mises en évidence dans des cas réels.

La quantité n’équivaut pas à la qualité ; elle n’en est une condition ni nécessaire ni suffisante. C’est ce que montrent, détails à l’appui, les travaux critiques ; et c’est aussi ce que chacun peut constater dans son domaine en remarquant les performances quantitatives modestes de chercheurs pourtant rigoureux et inventifs et inversement le caractère un peu convenu ou superficiel des travaux de certains de ceux qui “font du chiffre”.

Pour éviter le dévoiement général d’une recherche scientifique qui serait tout entière orientée vers la performance à l’égard de quelques indicateurs chiffrés sans plus trop se poser les questions qui faisaient normalement l’éthique du chercheur – en gros, mes travaux apportent-ils une contribution nouvelle, profonde et fiable au savoir mondial ? –, il importe aujourd’hui d’entourer l’usage des indicateurs chiffrés dans l’évaluation scientifique de sérieuses précautions. C’est là ce qui, à l’échelle internationale, a par exemple inspiré les recommandations, publiées dans Nature¹, du “manifeste de Leiden” quant à l’usage des indicateurs bibliométriques. À l’échelle nationale ou communautaire, niveaux sur les procédures desquels nous pouvons peser, mentionnons les journées d’études interuniversitaires et interdisciplinaires organisées en 2015 dans le cadre de “Penser la science” ; elles ont mené récemment à la publication, par l’Académie royale de Belgique, d’un volume collectif L’évaluation de la recherche en question(s)² qui, à quelques analyses critiques des procédures actuelles, joint une série de suggestions quant à la manière de les faire évoluer. À l’échelle de notre Université, signalons encore le workshop “La politique de l’excellence en recherche : histoire, effets, enjeux”, organisé le 25 février 2016 par le Conseil à l’éthique et à l’intégrité scientifique, ainsi que les séances de réflexion proprement méthodologiques des Conseils sectoriels de la recherche.

Pour ne donner qu’une idée de ce qui peut être fait pour réintroduire une dimension qualitative aux côtés de l’évaluation purement quantitative, signalons une proposition parmi d’autres. Les experts pointus sollicités par les commissions pourraient se voir poser des questions plus précises que celle de savoir ce qu’ils pensent des candidats d’après leur CV ; ils pourraient recevoir trois articles choisis par le candidat et, après lecture, être invités à répondre à des questions telles que “Les travaux de ce chercheur se distinguent-ils par leur originalité théorique ou méthodologique ? par leurs prises de risque ? par leur profondeur d’analyse ? par leur clarté d’exposition et leur capacité à se faire comprendre du public spécialisé ? du public savant non-expert dans le domaine ? d’un public plus large ?”, etc.

Sans doute le positionnement personnel des experts sur ces questions risque-t-il de réintroduire une part de subjectivité dans l’évaluation. Mais n’est-ce pas précisément le mythe d’une évaluation sans jugement de valeur qu’il convient de dépasser ?

Pr Bruno Leclercq
département de philosophie,
faculté de Philosophie et Lettres

1 Diana Hicks, Paul Wouters, Ludo Waltman, Sarah de Rijcke & Ismael Rafols, “Bibliometrics: The Leiden Manifesto for research metrics”, Nature 520, 429-431.

2 Edwin Zaccai, Benoît Timmermans, Marek Hudon, Barbara Clerbaux, Bruno Leclercq et Hugues Bersini, L’évaluation de la recherche en question(s), Académie royale de Belgique, Bruxelles, 2016.