10.10.2018

L'UNIFR signe la Convention de San Francisco sur l'évaluation de la recherche


Le 24 septembre dernier, l’UNIFR a rejoint le nombre croissant d’institutions signataires de la Convention de San Francisco sur l’évaluation de la recherche (DORA). Par ce document, l’Université s’engage à évaluer les chercheurs, lors de l’attribution de postes et de fonds, sans recourir aux « métriques de publications » mais en se basant sur une évaluation de la qualité des publications et de la recherche.

La grande mode des métriques

Les « métriques de publication » sont des indicateurs chiffrés tels que le facteur d’impact (nombre moyen de citations par article), le facteur-h (nombre d’articles hautement cités), et le nombre total de citations. Ces indicateurs ont connu une popularité croissante depuis une vingtaine d’années dans l’évaluation de la recherche, d’une part parce qu’ils sont faciles à obtenir, d’autre part parce qu’ils donnent des indications objectives, jusqu’à devenir un facteur crucial dans le destin professionnel des chercheurs.

Ils ont joué un rôle important dans les années 2000 pour permettre aux chercheurs les plus productifs et dont la recherche avait le plus d’impact à obtenir des financements et des postes de recherche même s’ils n’étaient pas soutenus par les professeurs établis. Ils ont ainsi contribué à tempérer l’influence des « appuis internes » qui pouvait trop peser dans la carrière des chercheurs. 

Mais beaucoup partagent l’opinion que les métriques de publications sont devenues plus nuisibles qu’utiles dans l’évaluation de la recherche. Le problème est que les chercheurs ont intégré le fait que ces métriques jouaient un rôle central dans leur destinée académique, et ont développé des façons de les manipuler: publier le plus d’articles possibles, privilégier les résultats controversés (voire invalides) pour générer des citations, s’ajouter systématiquement à des publications tierces pour des contributions mineures, etc. Les métriques de publications restent un indicateur parfois utile de l’impact d’un chercheur, mais peuvent aussi donner des indications faussées et même décourager les recherches les plus innovantes et risquées.

La déclaration DORA

Par la déclaration DORA, les institutions s’engagent à ne plus utiliser ces métriques, à baser leurs décisions seulement sur la qualité scientifique des travaux de recherche, et à prendre en compte d’autres produits de la recherche que les publications, comme les ensembles de données, l’influence sur les politiques publiques, ou les expositions. La déclaration DORA contient aussi des engagements à la transparence dans les décisions des institutions. En voici deux extraits-clés:

« Ne pas utiliser de métriques basées sur les journaux, telles que facteurs d’impact, comme mesure de substitution de la qualité des articles de recherche individuels pour évaluer les contributions individuelles d’un scientifique, ou dans les décisions d’embauche, de promotion ou de financement. »

« Expliquer clairement les critères utilisés pour prendre les décisions d’embauche, de permanence et de promotion, en soulignant clairement, surtout pour les chercheurs en début de carrière, que le contenu scientifique d’un article est beaucoup plus important que les paramètres de publication ou l’identité du journal scientifique dans lequel il a été publié. »

Le Fonds National Suisse de la Recherche Scientifique (FNS) s’est joint à DORA en 2014 déjà, et a modifié le format des demandes de fonds pour souligner la qualité scientifique plutôt que les métriques de publication.

Le fait de rejoindre DORA n’est toutefois pas une panacée, et implique une vigilance accrue pour les universités. Il s’agit en effet de s’affranchir des travers du système des métriques, tout en évitant les écueils et l’arbitraire contre lequel le système des métriques avait été conçu au départ. Un effort permanent doit être fait pour assurer la qualité de l’évaluation des chercheurs. L’UNIFR vient de faire un nouveau pas dans cette direction.

Liens: 

- San Francisco Declaration on Research Assessment (DORA)

- DORA au FNS