| |
|
|
|
|
|
Revues et classements de revues
Le document qui suit a été mis en forme par PJ Benghozi, sur la base des contributions des membres de la SFM. Ont notamment contribué à cette réflexion : F. Aggeri, J. Barthelemy, M. Berry, J. Brabet, J-F. Chanlat, Th. Durand, E. Fimbel, C. Jameux, M. Kalika, G. Koenig, P. Lorino, J-P. Nioche, R. Perez, F. Tannery, JC Thoenig, Y. Pesqueux. L’expression qui suit ne saurait les engager mais qu’ils soient ici remerciés de leur participation.
Les 8 Propositions de la SFM
Proposition 1 : Eviter une ranking list « one size fits all » en promouvant la diversité des
classements de revues, adaptés aux orientations et aux politiques scientifiques de chacun
des établissements qui les mettent en oeuvre.
Proposition 2 : Solliciter l’ensemble des établissements et EPST pour collationner et
rendre public l’ensemble des listes de revues mobilisées actuellement en France, solliciter
les associations partenaires européennes pour disposer des listes analogues.
Proposition 3 : Prendre systématiquement en compte, dans les classements de revues,
les revues en ligne sans se limiter aux seules revues papier.
Proposition 4 : Suggérer à chaque organisme établissant un classement de revues de
l’assortir nécessairement d’un guide de l’évaluateur – et de l’évalué - resituant la manière
dont le classement est envisagé dans la politique scientifique de l’établissement : variété
des critères d’évaluation d’activité mobilisés, conditions de prise en compte des
publications autres que revues (ouvrages, revues d’autres disciplines…), modalités
concrètes des évaluations, politiques d’incitation.
Proposition 5 : Elaborer, avec les rédacteurs en chef des revues, une « scoring card » de
chaque revue permettant de rendre publics leurs caractéristiques, politique éditoriale et
mode de fonctionnement : diffusion et caractéristiques du lectorat, largeur du scope,
types d’articles retenus, pourcentage d’acceptation, délais de publication, grilles
d’évaluation utilisées, pertinence des articles publiés pour les praticiens, degré
d’internationalisation
Proposition 6 : Promouvoir la professionnalisation des relecteurs et caractériser leur
travail et leurs compétences attendues, les modalités de répartition et de distribution des
soumissions d’articles par relecteurs, les délais de réponse. Cela suppose, en outre,
d’obtenir une reconnaissance institutionnelle du travail de relecteur (au niveau local,
comme au niveau national : CNU, CNRS et AERES), tout autant qu’améliorer
l’évaluation qualitative et quantitative de ce travail.
Proposition 7 : Au-delà de la question du classement des revues, celle de leur
référencement apparaît tout aussi sensible. La constitution d’un « portail Internet » qui
regrouperait l’ensemble des publications francophones de gestion apparaît, dans cette
perspective, une absolue nécessité.
Proposition 8 : Etablir une liste des bonnes pratiques en matière de publication des
ouvrages de recherche en gestion et engager un processus de labellisation des éditeurs, de
leurs collections ou de leurs ouvrages, sur la base d’une adhésion volontaire à ces bonnes
pratiques.
Contexte et attendus
La montée en puissance, ces dernières années, des préoccupations d’évaluation de la
recherche s’est accompagnée, en parallèle, d’une instrumentation croissante des pratiques
d’évaluation. Celle-ci s’est notamment traduite, dans certaines disciplines, par le
développement du recours à la bibliométrie, et, en sciences de gestion, par l’élaboration
d’index, de classements ou ranking lists, qu’il s’agisse de classer des revues, des
établissements ou des programmes. Certains de ces classements sont relatifs aux seules
publications et portent alors sur les revues. Ils peuvent être nés dans le cadre d’établissements
spécifiques, et sont à visée purement locale, avec souvent des dispositifs d’incitation à publier
dans les revues les mieux listées. Ces classements, rendus publics, peuvent être ensuite
utilisés ailleurs, comme cela a pu par exemple être le cas du classement que la section
économie et gestion du comité national de la recherche scientifique avait élaboré pour ses
unités mixtes (http://sites.google.com/site/section37cnrs/Home/revues37). D’autres classements de revues sont portés par des instances d’évaluation plus transversales : en France, c’est le cas par exemple de ceux produits par la section 06 du Conseil National des Universités (http://www.fnege.fr/DOC2008/classementRFG.pdf) ou par l’AERES (http://www.aeres-evaluation.fr/Economie-Gestion); d’autres classements enfin, à l’instar de celui du Financial Times, sont d’une autre nature. Ils ont été construits par des journalistes pour consacrer un nouveau podium – celui des business schools (Pour une vision internationale des classements en management, on pourra utilement se reporter au travail engagé depuis plusieurs années par Ann-Will Harzing : http://www.harzing.com/) et de leurs programmes. (Ces classements peuvent alors mobiliser certains des classements de revues et des indicateurs de citations pour tenter de prendre en compte la dimension « impact de la production de connaissance » des professeurs des établissements ou programmes évalués). Le présent « avis de la SFM » concerne la question des classements des revues, dans le cadre de l’évaluation des publications. Il ne porte pas sur les classements d’établissements ou de programmes.
Le diagnostic et les Propositions qui suivent, élaborés dans le cadre de la SFM, ne visent pas à
produire un « classement SFM des classements de revues » à la place des établissements et
des instances d’évaluation (ce qui ne serait ni pertinent ni légitime), mais plutôt à contribuer à
l’élaboration de recommandations et à l’identification de « bonnes pratiques » à même d’aider
à une meilleure structuration- identification du champ d’évaluation des publications dans des
revues. Les Propositions s’adressent aux responsables d’établissement, aux responsables de
revues, aux évaluateurs, tout autant qu’aux évalués eux-mêmes.
(Si la question de la publication d’ouvrages de recherche est abordée ici, celle de la production de manuels et de cas pédagogiques n’est pas évoquée).
Constat N°1 : la diversité des classements de revues
L’expérience de toutes les évaluations montre qu’il est souhaitable de ne pas considérer
l’élaboration et la nature des ranking lists de revues, indépendamment des processus
d’évaluation des individus, des équipes et des organismes. L’évaluation des productions
scientifiques doit être « contextualisée » pour tenir compte de la stratégie d’un établissement,
d’une équipe, d’un chercheur.
Dans cette perspective, il paraît particulièrement important de ne pas centrer l’attention sur un
seul classement. Une telle focalisation conduit à occulter le fait qu’existent de nombreux
classements ou index des revues de gestion dans d’autres établissements (écoles, universités)
ou instances d’évaluation. Ces différents classements ne sont le plus souvent pas évoqués, ni a
fortiori débattus et pris en compte.
Dans le même ordre d’idée, le souci de se pencher sur les publications en sciences de gestion
amène à s’intéresser au classement des revues de gestion et de management mais ne doit pas
faire oublier qu’il convient également de s’interroger sur les moyens de tenir compte des
publications paraissant dans des revues qui sont classées dans des disciplines autres que la
gestion (médecine et santé, économie, anthropologie, sociologie, etc.).
Il est donc essentiel de penser, d’accepter et même de promouvoir des classements différents
par institutions, adaptés à leur population et à leurs objectifs, plutôt qu’un grand classement
unique. Ce travail passe forcément par un bouclage entre évaluateur et évalués, sur les
objectifs poursuivis et sur les hiérarchies ou les éléments de classement produits.
Constat N°2 : le poids nécessaire du jugement
Comme l’ont montré les travaux de T. Kuhn, le problème et le risque de la science normale
sont de favoriser la « normalisation » et la standardisation des recherches. Ce mouvement ne
peut qu’être favorisé par l’instrumentation – quelle qu’elle soit - de l’évaluation, et notamment par des classements de revues ou le recours à des calculs d’indice de citations. Dans ce cas, le risque serait que des réactions légitimes contre l’automatisation de l’évaluation (se résumant à du comptage ou à de la simple bibliométrie) ne favorise, dans le même temps, un rejet d’ensemble de toute forme d’évaluation.
Il importe donc - dans l’approche du classement des revues de gestion - d’éviter tout système
automatique ou mécanique d’évaluation. La part du jugement doit impérativement être
conservée. Diverses raisons peuvent l’exiger : souci de reconnaissance et prise en charge d’un
nouveau paradigme, positionnement scientifique volontariste d’un établissement, etc. Elle doit
même être accrue dans nombre de cas par rapport aux pratiques actuelles. L’évaluation doit en
conséquence être assurée de manière extrêmement professionnelle, en y consacrant le temps
et les compétences nécessaires.
Pour que ce souci ne reste pas un simple voeu pieux, il importe en particulier de construire des
classements évitant toute tentation d’automatisation : éclatement des classifications, limitations des possibilités d’inter-comparaison, etc.
Constat N°3 : la variété structurelle des revues
Dans leurs pratiques, les enseignants-chercheurs sont en permanence confrontés à l’existence
de différents types de revues : par discipline bien sûr, par degré de diffusion, mais aussi, selon
leur ouverture scientifique plus ou moins grande, selon qu’elles se situent sur un paradigme
étroit et très normé (science normale) comme certaines « grandes » revues internationales, sur
une expertise sectorielle particulièrement relevée, ou avec un spectre plus large notamment
pluridisciplinaire.
L’interclassement de revues aux ambitions et aux statuts différents n’est pas réaliste et conduit
à comparer des supports très différents. Il serait donc souhaitable d’élaborer, dans la
communauté des sciences de gestion, une typologie de revues en fonction de leurs politiques
de publication, la largeur de leur champ thématique (scope), leur ouverture, leur discipline.
Constat N°4 : des aides à la publication autant que des aides à l’évaluation
Le succès des classements de revues et leur utilité tiennent au fait qu’ils remplissent un rôle
inestimable d’information et d’aide à la publication, notamment pour les chercheurs les plus
jeunes. (Notons qu’ils peuvent aussi aider des chercheurs étrangers à se repérer dans les
publications en langue française).
Il apparaît indispensable de développer un outil d’information et un jugement sur les
revues qui offrent à la fois une évaluation de ces revues et l’analyse critique de leurs
pratiques.
Un tel support devrait permettre, en outre, de prendre en compte les évolutions que peuvent
connaître une revue au fil du temps (amélioration de sa qualité ou au contraire baisse
d’influence, rétrécissement ou élargissement de son scope disciplinaire, recentrage
thématique). Dans ce contexte, il faut fournir ces informations, et il faut aussi se donner les
moyens d’opérer un investissement de jugement plus fort sur les revues elles-mêmes.
Constat N°5 : les limites de l’évaluation par les pairs
Derrière le principe – apparemment simple - du Peer Review Process (PRP) affiché par toutes
les revues académiques, des pratiques plus complexes et variées existent. Certaines peuvent
même questionner le caractère exclusif du principe du PRP. Plusieurs illustrations peuvent en
être données. Une première concerne le fondement et la confiance dans le jugement porté sur
les projets d’articles par les revues : au nom de quoi et dans quelle tradition est faite
l’évaluation, comment se fait le choix des réviseurs, quelle polarisation se construit
progressivement ? Une deuxième tient au caractère parfois illusoire de l’anonymat des
auteurs : certains domaines de spécialisation sont très restreints, les auteurs ont parfois déjà
présenté leur papier dans une conférence ou un séminaire. Google et internet peuvent alors
fournir souvent leur identité en quelques secondes si on la recherche. Enfin, la rigueur du
processus de révision et d’attribution des rapporteurs n’est souvent pas la même dans les
numéros spéciaux et dans les numéros ordinaires. Par ailleurs, la question peut être posée de
la pertinence, pour les établissements, d’externaliser l’évaluation des productions de leurs
chercheurs en la confiant à des tiers, des revues, qui font elles-mêmes appel à des reviewers
anonymes.
Dans cette perspective, il paraît essentiel d’inciter les revues à rendre publics leurs échanges
avec les relecteurs et leurs processus concrets de travail éditorial et d’évaluation. On peut, en
particulier, s’interroger sur l’intérêt qu’il pourrait y avoir à recommander aux revues
d’accompagner la publication des papiers par le nom des réviseurs qui l’ont évalué et fait
accepter. On pourrait également proposer aux revues de mettre plus explicitement en avant
leurs relecteurs les plus sérieux pour souligner et valoriser l’importance de leur contribution.
Une telle reconnaissance de ce travail invisible des reviewers (relecture, rédaction de
commentaires détaillés, Propositions d’arbitrage, itérations) paraît d’autant plus nécessaire
que la multiplicité des sollicitations et les limites de l’anonymat effectif des auteurs appellent
une disponibilité et une rigueur d’autant plus grandes des relecteurs.
Constat 6 : Les revues en ligne et l’accès en ligne des multiples revues papier
Les revues papier traditionnelles ne sont plus, aujourd’hui, les seuls supports de publication
des articles. On constate, en gestion comme ailleurs, la multiplication des téléchargements
d’articles à l’unité, des bouquets de revues vendus aux bibliothèques, des revues en ligne (Ceci tend d’ailleurs à poser aujourd’hui un problème financier aux établissements du fait de la facturation croissante associée à la multiplication et à la variété des accès aux téléchargements).
Dans ce contexte, aucune vision très claire du paysage de telles revues n’existe, ni a fortiori
de leurs qualités réciproques et de leur positionnement dans le champ général des revues
papier ou numériques. La situation est particulièrement sensible pour les revues en ligne. En
l’absence d’une telle vision, il apparaît difficile de poser un avis spécifique ou même, pour les
lecteurs, de choisir le support le plus adapté à leurs projets de publications.
Un travail systématique de l’identification, de la place et de l’évaluation de la valeur des
supports en ligne apparaît aujourd’hui absolument indispensable et constitue un préalable, si
ce n’est un pré-requis, à toute réflexion en la matière.
Constat N°7 : l’absence d’un portail des revues françaises
Déjà menacées par l’importance prise par les « rankings », les revues françaises le sont par un
second phénomène : le développement de l’usage des portails d’agrégation de revues
essentiellement anglophones tels qu’EBSCO ou des méta-moteurs (type Mercure+) qui
regroupent différents bouquets et éditeurs de revues (tels que Sage par exemple).
Confrontés à cette évolution, les éditeurs des revues françaises de gestion semblent avancer en
ordre dispersé, chacun ayant son site ou sa formule. En d’autres termes, le chercheur ne
dispose pas des mêmes facilités d’accès aux travaux francophones qu’aux travaux de langue
anglaise. Plus difficilement accessibles, les travaux en français ont encore moins de chance
d’être cités qu’ils ne l’étaient à une époque où la consultation des revues se faisait en
bibliothèque.
Constat N°8 : une focalisation sur les revues, au détriment des ouvrages
Les productions académiques de recherche ne se résument pas à la publication dans les revues
à comité de lecture, elles incluent également la publication d’ouvrages de recherche.
L’instrumentation de l’évaluation par les articles de revues tend à affaiblir la prise en compte
de ces ouvrages quand l’activité des enseignants-chercheurs ou des équipes est analysée.
Ainsi un ouvrage de recherche « édité », avec des contributeurs par chapitre autour d’un thème commun, s’apparente-t-il en fait souvent à un numéro spécial d’une revue. Toutefois, il
y a ouvrage et ouvrage, même parmi ceux qui se revendiquent comme ouvrage de recherche.
Il y a donc place là aussi à l’évaluation. Mais les grandes différences dans les processus
respectifs de rédaction et d’édition des articles et des ouvrages empêchent d’élaborer un outil
de classement intégrant ces deux formes de production scientifique.
La possibilité d’établir un classement des éditeurs ou des collections se heurte au très large
éventail des situations quant à la qualité des ouvrages. Les possibilités de garantir cette qualité
scientifique ainsi que le sérieux de leur processus d’élaboration se heurte, en particulier, aux
contraintes économiques spécifiques des éditeurs. La faiblesse de diffusion des ouvrages de
management ne donne pas nécessairement aux éditeurs, faute de rémunération, les moyens de
demander aux directeurs de collection de consacrer beaucoup de temps au travail éditorial de
suivi et de contrôle, pas plus que de faire appel à des relecteurs à même de faire sur les
ouvrages un travail d’évaluation et de recommandation de révision analogue à celui effectué
pour les articles de revues.
De façon analogue à ce qui existe déjà pour les revues, un dispositif de labellisation pourrait
être envisagé afin d’encourager les éditeurs scientifiques en distinguant ceux d’entre eux,
leurs ouvrages ou leurs collections, faisant explicitement des efforts en matière de qualité du
travail éditorial. Ce label pourrait ainsi correspondre à l’adoption de bonnes pratiques
élaborées et acceptées collectivement : existence d’un vrai processus de sélection et de
relecture en amont de la publication, suivi du processus de révision par un travail éditorial
d’accompagnement scientifique de l’écriture en aval, obligation de soumission des ouvrages à
des collectifs scientifiques au choix de l’éditeur (associations scientifiques, comité
scientifique des grandes conférences, comité éditorial de revues non liées à l’éditeur…)
|
|
|
|
|
|