Remplacer un indicateur chiffré par un avis qualitatif ne suffit pas à rendre une évaluation plus précise. Dans le domaine de la recherche, la question de l’approche d’évaluation la plus précise se pose avec une acuité nouvelle depuis que des cadres comme DORA recommandent de contextualiser chaque indicateur plutôt que de l’appliquer uniformément. Le vrai enjeu n’est pas de choisir entre chiffres et narration, mais de vérifier que le dispositif retenu modifie réellement les décisions prises.
Évaluation qualitative ou quantitative : ce qui change concrètement une décision de recrutement
Vous avez déjà vu un comité de sélection classer des candidats par nombre de publications, puis affirmer que l’évaluation était qualitative parce qu’un paragraphe de synthèse accompagnait le tableau ? Ce décalage entre vocabulaire et pratique est fréquent.
A découvrir également : Serveur LLM : définition et fonctionnement
DORA ne recommande pas d’abandonner les indicateurs. Le cadre préconise de rendre leur usage explicite, transparent et contextualisé. Un indicateur pertinent en biologie moléculaire peut être trompeur en sciences humaines. L’appliquer de la même manière dans les deux cas revient à mesurer deux objets différents avec le même étalon déformé.
Pour qu’une grille d’évaluation soit précise, elle doit produire un résultat différent de celui qu’aurait donné l’ancienne grille, au moins dans certains cas. Si les mêmes candidats sont retenus, dans le même ordre, avec les mêmes financements, le changement est cosmétique.
A découvrir également : Les inconvénients de l’automatisation en entreprise

Grilles d’évaluation de la recherche : les critères qui distinguent précision et apparence
Un rapport de l’Académie des sciences publié en 2025 préconise de privilégier l’évaluation qualitative à partir d’un récit narratif. Ce récit doit prendre en compte, selon le poste, l’enseignement, le travail collectif ou les retombées sociétales. L’idée est simple : évaluer ce que le chercheur apporte, pas seulement ce qu’il publie.
La même année, DORA a lancé un guide pratique destiné aux organismes de recherche, accompagné de ressources de mise en œuvre. L’objectif est d’aider les établissements à faire évoluer leurs procédures concrètes plutôt que de s’en tenir à des principes généraux.
Ce qu’une grille précise intègre
- La reconnaissance de contributions autres que les publications : encadrement doctoral, développement de logiciels, création de bases de données, médiation scientifique. Sans cette prise en compte, une part du travail réel reste invisible dans l’évaluation.
- Un cadrage disciplinaire explicite : les critères et leur pondération varient selon le champ. Un même taux de citation n’a pas la même signification en physique des particules et en philosophie.
- Un mécanisme de vérification : comparer les résultats obtenus avec la nouvelle grille à ceux qu’aurait produits l’ancienne permet de mesurer si le changement est réel ou nominal.
Ce dernier point est rarement appliqué. Les institutions adoptent de nouveaux formulaires sans jamais tester rétrospectivement si les décisions auraient changé.
Vérifier qu’une réforme d’évaluation ne conserve pas les anciennes pratiques
Le risque principal d’une réforme d’évaluation, c’est l’habillage. Un comité peut adopter un vocabulaire qualitatif tout en continuant à trier les dossiers par h-index avant même de lire le récit narratif. L’écart entre politique affichée et habitudes des comités constitue le point aveugle de la plupart des réformes.
Comment détecter cet écart ? Trois vérifications concrètes permettent de le repérer.
- Analyser les profils retenus avant et après la réforme. Si la diversité des parcours sélectionnés n’augmente pas, la grille n’a rien changé.
- Demander aux évaluateurs de justifier par écrit le poids accordé à chaque critère. Cette traçabilité freine le recours automatique à un indicateur unique.
- Comparer le temps consacré à la lecture du récit narratif par rapport au temps passé sur les métriques. Un déséquilibre flagrant signale que le récit sert de décor.
Ces vérifications ne demandent pas de moyens supplémentaires. Elles demandent une volonté de mesurer l’effet réel du dispositif plutôt que sa conformité formelle.

Approche dimensionnelle contre approche catégorielle en évaluation
Au-delà de la recherche, la question de la précision se pose dans tout système d’évaluation. L’approche catégorielle classe un objet ou une personne dans une case : admis ou refusé, excellent ou insuffisant. L’approche dimensionnelle place le même objet sur un continuum, avec des degrés.
Prenons un exemple concret. Un jury catégoriel dit : « ce projet est finançable ». Un jury dimensionnel dit : « ce projet se situe au niveau 7 sur 10 pour l’originalité, 5 sur 10 pour la faisabilité, 8 sur 10 pour l’impact attendu ». La seconde formulation donne une information plus fine et permet de comparer des projets proches.
L’approche dimensionnelle réduit la perte d’information liée au seuil de catégorisation. Deux projets situés juste de part et d’autre d’un seuil sont traités de manière identique dans un système catégoriel alors que leurs profils peuvent être très différents.
La contrepartie existe : une évaluation dimensionnelle demande des critères bien définis et des évaluateurs formés. Sans cela, la fausse précision des chiffres remplace la fausse clarté des catégories.
Précision d’évaluation : ce qui compte au moment de choisir une méthode
La précision d’une évaluation ne dépend pas du label qu’on lui donne. Elle dépend de trois facteurs : la transparence des critères utilisés, l’adéquation entre ces critères et l’objet évalué, et la capacité à vérifier que le dispositif produit des décisions différentes de celles qu’aurait données un système moins élaboré.
Les outils publiés en 2025 par DORA et les recommandations de l’Académie des sciences vont dans cette direction. Leur adoption réelle reste à observer, parce que le passage d’un guide institutionnel à une pratique de comité prend du temps, et que les habitudes d’évaluation résistent souvent aux réformes de principe.
La méthode la plus précise est celle dont on peut démontrer qu’elle change les résultats. Tant que cette démonstration n’est pas faite, toute réforme reste une déclaration d’intention.

