Comment évaluer la «production scientifique» d’un médecin, d’une équipe ou d’un établissement ? Au départ, c’est-à-dire en 1998, le CHRU de Lille voulait simplement définir sa politique de recherche en s’appuyant sur une connaissance fine de la production scientifique de ses médecins et du potentiel de ses équipes. Mais cette demande, simple à première vue, renvoyait à la complexité de l’organisation de la recherche en France. « L’approche de type questionnaire à renseigner par chaque établissement a vite montré ses limites. explique Régis Fiévé, Délégué Interrégional à la Recherche Clinique du Nord Ouest. Mon équipe l’a remplacée par un logiciel que nous avons développé : SIGAPS (Système d’interrogation, de Gestion et d’Analyse des Publications Scientifiques) ». En 10 ans, ce système s’est imposé comme l’outil de mesure bibliométrique de référence pour 45 000 praticiens et 80 structures. Et le score SIGAPS conditionne directement la part modulable des Missions d’Enseignement, Recherche, Référence, Innovation (MERRI)* attribuée aux établissements bénéficiant de ces crédits. Aujourd’hui SIGAPS poursuit sur sa lancée et intéresse toutes les facultés, pas seulement celles de médecine et des partenariats internationaux sont à l’étude. Belle réussite pour l’équipe lilloise qui a su rendre visible la recherche, une mission hospitalo-universitaire qui peinait à se définir et fut longtemps assimilée à la zone d’ombre des CHU. Grâce à ce logiciel, la dimension scientifique des équipes s’impose désormais comme un enjeu stratégique.
Développé en lien avec l’université et ouvert à tous les établissements, SIGAPS se veut au service du chercheur comme de l’institution.
En 2008, le Ministère de la Santé a mandaté le CHRU de Lille pour déployer SIGAPS dans l’ensemble des établissements de santé ayant a priori des activités de recherche : CHU, Centres de lutte contre le cancer, certaines structures de la FEHAP et certains centres hospitaliers impliqués dans la recherche clinique. Le score SIGAPS est le plus important des 4 indicateurs intervenant dans la part modulable des financements MERRI , il représente actuellement 57.5%**, d’où l’émulation par l’excellence entre CHU fort publieurs. Quant aux données agrégées par structure, elles sont rendues publiques sur le site du Ministère à l’adresse www.sante.gouv.fr/recherche-et-innovation.html.
SIGAPS fournit à chaque médecin son CV bibliographique et à chaque établissement son score de publication.
Sur SIGAPS, le médecin trouvera la liste de ses publications référencées dans Medline depuis 1995, un rapport comportant de nombreux tableaux et graphiques qui prennent en compte la catégorie de la revue (A, B, C, D, E ou NC) et la position parmi les auteurs. Il présente également les thématiques de recherche (illustrés par les termes MESH) et les collaborations. Un score, tenant compte de la catégorie (8 points pour un article A, 6 pour un B, 4,3,2,1 pour les C,D,E et NC) et de la position (4 pour le premier et dernier auteur, 3 pour le second, 2 pour le troisième et 1 pour les autres positions) dans chaque article, permet d’avoir un aperçu global de la production réalisée. Ainsi un article publié en premier auteur dans une revue A sera coté 32 points, un article en 5ème position dans une revue E, 2 points.
Pour exemple, l’analyse SIGAPS d’un service du CHU, réalisée sur la période 2001-2010 :
Le graphique 1 fournit le nombre de publications par année. On remarque une forte augmentation depuis l’année 2006, qui correspond à l’arrivée d’un nouveau chercheur dans le service. On remarque également qu’un grand nombre de publications contient un médecin du service en premier ou dernier auteur. On constate également un nombre de publications A ou B a priori très élevé.
Le graphique 3 confirme l’augmentation rapide du nombre de publications entre 2005 et 2010, notamment sur les catégories A et B. Le graphique 4 indique un pourcentage d’articles A de l’ordre de 40% alors qu’il est d’environ 20% au niveau national, ce qui confirme le haut niveau de publication de ce service.
Avec SIGAPS les chefs d’équipe gèrent la bibliographie de tous les membres. En quelques clics les thématiques de recherche ou les collaborations internes et externes sont identifiées ce qui économise des heures de requête sur le web ou sur Medline.
Comment ça marche ?
SIGAPS automatise en temps réel le recensement des publications des médecins français à partir de PubMed qui centralise environ 5600 revues actuellement. Il renseigne sur la « quantité et la qualité » de la production ainsi que sur les réseaux de collaboration internes et externes. Il délivre enfin un score, véritable mesure de l’engagement d’un médecin, d’une équipe ou d’un établissement dans la recherche. La mise à jour des données dans SIGAPS est variable d’un établissement à l’autre mais un grand nombre réalise une mise à jour hebdomadaire. Les données nationales sont généralement mises à jour 2 fois par an, en Juin et Septembre.
«Quant aux données de référence, elles font l’objet d’une double validation par des mécanismes automatiques et par relecture individuelle (chaque médecin validant ses publications) ; une garantie de fiabilité qui contribue à l’essor du logiciel » remarque Patrick Devos, biostatisticien et développeur de SIGAPS.
SIGAPS est une marque déposée par le CHRU de Lille qui est aussi propriétaire du logiciel.
Marie-Georges Fayn
Correspondance : Patrick Devos, Statisticien
Délégation à la Recherche – CHRU de Lille
EA2694 – CERIM- Faculté de Médecine – Université de LILLE II
Tel : 03-20-44-56-80 – pdevos@univ-lille2.fr
______
*MERRI : enveloppe nationale de financement public de la recherche d’un montant d’environ 2 Milliards d’Euros. Cette enveloppe étant fermée, les CHU se trouvent en situation de concurrence pour améliorer leur score SIGAPS afin d’attirer le plus de fonds possible.
**les trois autres indicateurs sont l’enseignement à travers le nombre d’étudiants (29%), la recherche clinique (score SIGREC 10%) et les brevets et valorisation (3,5%)
Correspondance : Patrick DEVOS, Statisticien |Délégation à la Recherche – CHRU de LilleEA2694 – CERIM- Faculté de Médecine – Université de LILLE II Tel : 03-20-44-56-80 – pdevos@univ-lille2.fr
