La bêtise des classements ?

Très tôt, on nous apprend à reconnaître ceux dont les idées et points de vue influencent notre réflexion. Au cours de nos carrières universitaires, nous apprenons à citer correctement les mots, les données ou les images que nous utilisons. Et "rendre à César ce qui appartient à César" est le principe fondamental sur lequel se fonde l'ensemble du système de publication scientifique.

Dans le milieu universitaire, citer le travail des autres n'est pas une simple politesse: c'est une exigence normative. En effet, il est presque impossible d'imaginer qu'un article soit publié dans une revue de renom sans qu'il ne s'accompagne d'une liste de références. Le plagiat est l'un des rares actes qui peut mettre un terme à une brillante carrière universitaire.

Les citations contextualisent la recherche et aident à orienter le lecteur. Elles permettent au lecteur d'évaluer le travail de l'auteur sur la base de la qualité perçue des références sélectionnées. Et elles permettent au lecteur de retrouver un travail jusque-là inconnu mais potentiellement utile.

Le référencement dans les publications scientifiques

Eugene Garfield l'a bien compris. En 1955, Garfield a créé le Science Citation Index (SCI), une base de données contenant toutes les références citées dans les revues scientifiques les plus respectées, capturant ainsi le réseau de liens tentaculaires entre les textes. Selon ses propres termes, "Utiliser les références d'auteur dans la compilation de l'indice de référence revient en réalité à utiliser une armée d'indexeurs, car à chaque fois qu'un auteur cite une référence, il indexe en fait le travail de son propre point de vue". La SCI permet aux chercheurs de remonter les chaînes de connaissances dans les deux sens en suivant les liens de citation inclus dans la littérature scientifique.

Le potentiel de la SCI n'a pas échappé à la communauté scientifique, que ses membres ont rapidement adopté, mais pas pour les raisons auxquelles on aurait pu s'attendre. L'enrichissement d'un sujet à partir des analyses précédentes, des connexions et des conclusions sur les mêmes textes cités, a certainement compté au moins pour partie. Toutefois, une possibilité plus attrayante encore a consisté à relever l'influence universitaire de certaines personnes dans différents domaines et au fil du temps, et d'identifier de la sorte les scientifiques, documents, revues et institutions les plus souvent cités.

Presque du jour au lendemain, l'humble référence bibliographique a acquis une signification symbolique et la science s'est dotée d'un formulaire d'évaluation. Mais la science en avait-elle vraiment besoin ?

Le SCI a aussi donné lieu à de multiples mesures des citations, dont deux en particulier méritent notre intérêt. La première (une autre idée originale de Garfield) est le facteur d'impact (IF), qui offre une indication putative sur la qualité d'une revue universitaire, en fonction du nombre moyen de fois où ses articles sont cités au cours des deux années précédentes. Un facteur d'impact élevé augmente instantanément le prestige d'une revue.

Une autre mesure notable est l'indice h (conçu par le physicien Jorge Hirsch), qui entend mesurer la productivité et l'impact des chercheurs. Le comptage de l'indice h est simple : si un chercheur publie 20 articles qui ont chacun été cités au moins 20 fois, il obtient alors un indice h de 20 points. S'il publie 34 articles, chacun cité au moins 34 fois, il obtient un indice h de 34 points.

Malgré les limites bien établies de ces mesures, leur simplicité (sans parler de la concurrence inhérente au progrès scientifique) les rend très attrayantes. En conséquence, elles sont tenues pour significatives par des gens qui devraient se montrer plus circonspects. En effet, les données de citation sont devenues des statistiques vitales dans le milieu universitaire : des chercheurs ajoutent régulièrement sur leur curriculum vitae des IF et des indices h, ainsi que des dizaines de citations textuelles provenant de sources comme le Web of Science de Thomson Reuters (la base de données de Garfield), le Scopus d'Elsevier et Google Scholar.

Les classements des universités

De même, plusieurs classements annuels universitaires, dont le CWTS Leiden Ranking, the Shanghai Academic Ranking of World Universities, QS World University Rankings et le World University Rankings, s'appuient dans leurs calculs sur des données de publication et de citation. Les présidents d'université doivent s'efforcer d'améliorer les résultats de citation de leurs établissements, même s'ils savent que la validité et la fiabilité de ces données et des classements qu'ils renseignent, sont discutables.

Le problème ne se limite pas à l'enseignement universitaire. Les administrateurs utilisent ces mesures pour évaluer la productivité des personnes qu'elles embauchent et financent, et suivent l'impact en aval des projets de recherche et de développement qu'ils souscrivent, avec peu d'égard pour les limites de ces indices. Dans des pays comme le Royaume-Uni, l'Australie, l'Allemagne et l'Italie, les exercices de d'évaluation de la recherche créent inexorablement une culture de la quantification et de la comptabilité, dans laquelle les données de citation jouent un rôle de plus en plus important.

Recherche et médias sociaux

Plus ces indicateurs "objectifs" sont utilisés dans l'évaluation de la recherche et de l'évaluation du personnel, plus les scientifiques se sentent obligés de jouer le jeu de la citation. De plus en plus, cela revient à détourner le système, à mettre l'accent sur des études qui promettent des rendements à court terme, la poursuite de thèmes de recherche "chauds", de passer plus de temps sur l'auto-promotion (facilitée par la prolifération des médias sociaux), et de couper et redécouper les travaux pour attirer le plus d'attention possible. L'émergence récente de "mesures alternatives" (comme les téléchargements, les recommandations, les Like sur Facebook et les Tweets) ont augmenté la pression sur les chercheurs, forcés d'accumuler des preuves multidimensionnelles de leur influence.

Evidemment, une analyse sociale du monde de la recherche et des études supérieures peut encore fournir des informations importantes qui facilitent l'évaluation des "véritables" contributions d'un chercheur. Le défi portera sur la gestion d'un compromis entre transparence et trivialité. Comme Einstein est censé l'avoir dit : "Ce n'est pas tout ce qui peut être compté qui compte, et ce n'est pas tout ce qui compte qui peut être compté."

© Project Syndicate 1995–2014