Avec Ghislaine Filliatreau, directrice de l’Observatoire des sciences et des techniques.

Jeudi 13 février 2014, 9h30 à 11h30

Institut des sciences de la communication
20 rue Berbier-du-Mets, Paris 13e
Métro 7 ou bus 27, 47, 83, 91, « Les Gobelins »

 
Questionner l’évaluation dans l’ESR

Le multidimensionnel, nouvelle frontière du quantitatif ? L’exemple de U-Multirank

 
Jeudi 13 février 2014, 9h30 à 11h30, ISCC

Accueil > Évènements > Séminaires et ateliers réguliers > Questionner l’évaluation dans l’enseignement supérieur et la recherche

 

Résumé

Le « classement de Shanghai », palmarès des universités « de classe mondiale » a été créé en 2003 pour les besoins d’exploration de trois chercheurs chinois qui cherchaient à identifier les « meilleures universités mondiales », et qui ont décidé d’approcher la question en établissant un palmarès des 500 premières universités, telles que repérées par des « marqueurs quantitatifs de prestige scientifique international » : nombre de prix Nobel et médailles Fields parmi les anciens élèves et les professeurs, articles parus dans des journaux prestigieux comme Nature et Science, chercheurs à forte notoriété scientifique...

Comme on le sait, ce classement a rencontré un succès planétaire, et il a donné le coup d’envoi du développement d’une série de « classements internationaux des universités » qui jouissent aujourd’hui d’une large diffusion. Comment expliquer ce succès ? Tout d’abord, parce que ces palmarès sont gratuits ! Ensuite, parce qu’ils répondent aux besoins convergents de plusieurs publics, qui sont très sensibles aux informations concernant l’enseignement supérieur et sa qualité. Par exemple, les décideurs politiques sont, dans la plupart des pays, fortement polarisés sur la question de la compétition pour l’intelligence, dont les universités sont un marqueur possible : alors que, réunis à Lisbonne en 2000, les chefs d’État européens venaient d’affirmer leur volonté commune « faire de l’Union européenne l’espace le plus créatif et le plus attractif du monde pour les étudiants et les chercheurs », les résultats de Shanghai, montrant la domination des États-Unis en termes de nombre et de rangs d’établissements présents, ont fait l’effet d’une douche froide... De même, les étudiants potentiels et leur famille sont anxieux de « réussir de bonnes études, » et désireux de connaître quelle « offre de formation » leur est théoriquement accessible.

Ces classements, comme de nombreux autres outils de comparaison quantitative, correspondent à une demande forte de repères factuels, tant de la part des citoyens que des pouvoirs publics, alors que les ressources limitées des États les contraignent à arbitrer durement entre leurs dépenses. Ce qui conduit les financeurs à insister sur la notion de transparence, vue non seulement comme un outil de démocratie mais aussi comme un levier de modernisation, voire de contrôle, du secteur public.

Même s’ils s’attirent de vives critiques, les classements internationaux répondent donc à de nombreuses attentes. Un rapport récemment publié par l’EUA [1] a bien mis en évidence les limites des classements actuels, et les dangers qu’ils représentent s’ils sont utilisés sans esprit critique. Le risque d’enclencher une spirale de comportements inadaptés est réel : comparaisons inappropriées, stratification des positions établies, focalisation excessive sur ce qui est mesuré, rétrécissement des marges d’action, renforcement des hiérarchies liées aux ressources, aggravation de la pression pour des résultats immédiats, réduction de la diversité.

C’est là une situation idéale pour stimuler une concurrence où les classements vont tenter de se différencier les uns des autres en répondant aux critiques qui leur sont faites. De fait, les classements ont beaucoup évolué depuis 2003. Par exemple, les auteurs du classement de Shanghai proposent plusieurs classements parallèles, déclinés selon différentes champs ou disciplines de recherche. Ce qui permet d’observer, outre le rang des établissements, celui de leurs départements disciplinaires : c’est une approche différente de celle de départ, dans laquelle chaque établissement possède non plus un mais plusieurs rangs, qui établissent son « profil disciplinaire selon Shanghai ».

Plus largement, la notion de profil multidimensionnel est fondamentale pour répondre à l’un des problèmes majeurs des classements internationaux, qui hiérarchisent selon la même toise des établissements qui n’ont rien de commun, tant en termes de missions (c’est-à-dire d’activités) que de moyens. Il était donc nécessaire de mettre en place des outils qui puissent permettre de catégoriser les établissements avant de les comparer. C’est, par exemple, ce qu’a entrepris de faire le CHEPS en créant U-Map, un outil qui permet de décrire le profil des établissements européens selon une série d’indicateurs décrivant séparément 5 dimensions majeures de leur activité, et permet de ne comparer entre eux que ceux qui ont des profils proches.

Par ailleurs, il est également nécessaire d’adopter une approche multidimensionnelle des résultats des établissements, où les indicateurs ne sont pas compactés en un composite mais au contraire utilisés pour rendre compte de manière précise des différentes dimensions des réalisations et des services offerts. C’est par exemple ce que fait depuis de nombreuses années le CHE pour les établissements allemands. Avec cette approche, on met en évidence le fait que les établissements se différencient les uns des autres par des points forts et des points faibles distinctifs en termes de réalisations.

Ce souci rejoint évidemment le besoin d’information des étudiants à qui il faut permettre, via une interface interactive, non seulement d’accéder aux différents indicateurs, mais aussi de sélectionner eux-mêmes celles qu’ils souhaitent privilégier pour bâtir leur propre hiérarchie. Dans cette approche, on se place dans l’idée que le classement « pertinent » est celui dont la construction est paramétrée par les préférences de l’usager. L’ensemble de ces considérations sous-tend la construction de U-Multirank [2], un classement original impulsé par la France dès 2008, durant la présidence française de l’Union européenne, dont la conception et le développement pilote sont financés par la Commission européenne.

U-Multirank, qui prend en compte tous les enseignements tirés des exercices précédents, propose des solutions originales. Il combine un outil comparatif similaire à celui du CHE avec un outil similaire à U-Map, qui va permettre de sélectionner les établissements qui se ressemblent avant de les comparer. Les deux outils sont multidimensionnels, et le résultat de l’exploration qui est faite par l’usager, via une interface interactive est un tableau dans lequel une série d’établissements, présélectionnés selon leur adéquation aux spécifications de l’usager, est présentée selon cinq groupes des établissements.

Ce design fait de U-Multirank un outil d’information ambitieux, permettant d’une part à chaque établissement de faire valoir ses spécificités et ses réalisations distinctives, et d’autre part à chaque usager de s’appuyer sur ses propres priorités pour explorer la diversité des établissements. Dans sa conception, cet outil est certainement le plus abouti et le plus à même de promouvoir l’enseignement supérieur et ceci pour deux raisons :

  • d’une part en rendant justice à la diversité des établissements et de leurs activités,
  • d’autre part en permettant aux usagers - et d’abord aux étudiants - d’explorer et de mieux comprendre cette diversité au travers d’interfaces qui leur permettent de choisir leurs critères d’exploration.

U-Multirank doit néanmoins affronter un défi de taille : celui de l’accès à des données de bonne qualité sur la quasi-totalité des établissements du monde...

En effet, si les palmarès se concentrent sur quelques centaines d’établissements, un outil comme U-Multirank doit ambitionner de donner sa juste place, dans leur diversité, à la quasi-totalité des quelques 15 000 établissements du monde. Or cet accès à des données de qualité est très coûteux.

De fait, la question des coûts d’investissement et du modèle économique sera cruciale pour la suite de U-Multirank. Le danger est que les seuls classements durables soient ceux qui sont développés par des opérateurs privés restent les seuls accessibles, qui sont capables d’investir mais qui seront ensuite condamnés à rentrer dans leurs frais – qu’il s’agisse de proposer ces classements sur abonnement payant, ou de les faire financer par ceux qui sont classés. C’est la raison pour laquelle la commission européenne avait demandé au consortium choisi pour U-Multirank [3] une analyse du modèle économique préconisé pour un outil qui doit respecter l’ensemble des bonnes pratiques définies par les principes de Berlin, c’est-à-dire se mettre en capacité de prendre en compte la diversité des contextes culturels, linguistiques et économiques de l’ensemble des établissements étudiés.

Un des modèles est celui d’un dispositif fédératif international, des partenaires dans les différents pays participants produisent chacun un classement national incluant un tronc commun d’indicateurs comparables qui seront partagés au niveau de la plate-forme U-Multirank. Dans chaque pays, les partenaires relaient l’utilisation de l’outil européen, mais les classements nationaux restent diversifiés et servent de banc d’essai pour des développements qui peuvent ensuite être mis en commun pour des aires géographiques pertinentes (la francophonie par exemple). Les coûts centraux européens sont partagés et allégés puisque la production des mesures communes est décentralisée et les développements faits dans chaque pays peuvent être mutualisés.

Cette hypothèse n’est pas la seule – ni la plus probable. Il appartient aux établissements, comme aux instances nationales qui les rassemblent, de participer activement à la réflexion, afin de concrétiser leur intérêt pour ces perspectives.


[1Les classements mondiaux d’universités et leur impact, par Andrejs Rauhvargers, rapport disponible en français et en anglais sur le site www.eua.be.

[2Le rapport final de l’étude est accessible sur le site www.umultirank.org.

[3U-Multirank phase I a été réalisé par le CHERPA (Center for Higher Education and Research Performance Assessment), qui regroupe cinq institutions : le Centre for Higher Education Policy Studies (CHEPS) de l’université de Twente, le Centrum für Hochschulentwicklung (CHE) de Gütersloh, le Centre for Science and Technology Studies (CWTS) de l’université de Leiden, l’International Centre for Research on Entrepreneurship, Technology and Innovation Management (INCENTIM) de l’Université catholique de Louvain, et l’Observatoire des sciences et des techniques (OST) de Paris. L’OST n’est pas membre du consortium en charge de la phase II en cours à l’heure actuelle.