L'évaluation d'une FMC implique une méthodologie semblable à celle utilisée en recherche clinique pour étudier l'efficacité d'un traitement.

On peut distinguer deux grandes méthodes :

• une méthode "avant - après" qui va mesurer les effets (lesquels ?) sans se soucier de ce qui les a précisément produits ou, à l'inverse, ce qui a fait qu'ils ne se sont pas produits (la "boîte noire").
• une méthode "facteur(s) - effets" où l'on va recenser les variables susceptibles d'intervenir sur le résultat final et tester l'efficacité relative de chacune d'elles, isolément ou en interaction avec d'autres. La question devient apparemment complexe, mais elle a le mérite de conduire à une position plus réaliste que celle de la "boîte noire" et très pragmatique : Qu'est-ce qui marche dans tel type d'objectif ? Peut-on le réaliser et à quel coût ? Comment évaluer une action innovante ?

Ces variables vont concerner la formation (incluant la pertinence de son objet, la méthode générale, les outils pédagogiques,…), l'enseignant, l'enseigné (avec ses différents besoins, sa personnalité, sa réceptivité, sa participation, son expérience,…), l'environnement (plus ou moins stimulant ou contraignant), et le coût.

Examinons plus précisément chacun de ces facteurs.

Globalement, on peut dire raisonnablement qu'une formation aura d'autant plus de chance d'être utile qu'elle aura été suivie et qu'elle aura respecté les objectifs prévus. En fait, les choses sont plus compliquées : une bonne formation, bien suivie par des médecins attentifs peut n'avoir en définitive qu'un effet très restreint. En effet, on sait maintenant que la tendance naturelle du médecin dans ses choix de formation est la consolidation de connaissances déjà acquises et qu'il aura tendance à se détourner de ce qui est nouveau ⁽¹³⁾. Réciproquement, la variable "interactivité" peut faire apparaître au cours de la formation d'autres objectifs que ceux qui étaient initialement prévus et donner à une formation un relief qu'elle n'aurait pas eue sinon. Retenons déjà qu'il sera peut-être plus difficile inciter des praticiens à suivre une formation impliquant des données nouvelles mais que cela sera sans doute plus utile qu'une révision collective.

Les autres facteurs concernent :

• la méthode qui aura été utilisée pour la formation (par exemple la résolution de cas ou de problème en petit groupe, supervision individuelle ou en petit groupe vs l'enseignement par cours conventionnel),
• les outils de la formation qui pourront être la simple diffusion de documents, mis ainsi à la disposition du lecteur supposé s'y référer, ou bien des outils plus interactifs utilisant les potentialités du multimédia et d'Internet.
• le dynamisme de l'enseignant, à sa capacité d'intéresser et de convaincre,
• l'enseigné : chacun n'éprouve pas les mêmes besoins au même moment, ce qui pose la question de l'accessibilité de la connaissance au moment où elle est nécessaire, mais aussi ce qui détermine la conscience d'un besoin de formation chez un individu, à un moment donné. Armstrong et al. ont déterminé trois situations : seuil d'évidence (prise de conscience qu'une formation dans un domaine est devenue incontournable), événement critique qui révèle une carence, mise à jour permanente ⁽¹⁾. D'autre part, il existe des différences individuelles importantes entre les modalités d'apprentissage qui conviennent à un individu : modalités solitaires (lecture), en petit ou en grand groupe, en tant qu'enseigné ou en tant qu'enseignant.
• le coût paraît le plus facile à évaluer. Il fait intervenir en fait différents paramètres liés aux effets produits en termes d'économies de santé, de gain social (par exemple au niveau de la réduction du nombre de suicides, ou de communication institutionnelle lorsqu'il existe un sponsor).

Comment déterminer ensuite si une action de FMC a été efficace ou non ?

La recherche d'indicateurs de l'effet d'une FMC concerne à la fois l'évolution perçue par le praticien de ses connaissances et de sa pratique, mais aussi celle qui s'inscrit dans ses comportements cliniques et professionnels, qu'il s'agisse de son diagnostic, de ses ordonnances, de sa capacité relationnelle, pédagogique et psychothérapique avec ses patients, voire de sa capacité d'analyse et de sens critique ou de son investissement dans la recherche.

Cette évolution peut faire l'objet de mesures (évaluation) portant sur les différents niveaux précédents . Il faut signaler ici que les outils utilisés pour cette évaluation ne sont pas neutres. Non seulement parce qu'ils peuvent sélectionner un type d'effet par rapport à un autre (l'évaluation des acquisitions de l'élève ne sera pas appréciée de la même façon si elle s'appuie sur des QCM, des petits examens, la mise en œuvre en situation, mais parce qu'ils peuvent jouer eux-mêmes un rôle dans l'efficacité et la durée de l'efficacité de la formation en faisant intervenir l'élève par auto-évaluation, essai écrit et analyse critique de la connaissance.

L' évolution du professionnel est un objectif intermédiaire par rapport au but final qui est l'amélioration de la santé des patients, que l'on va rechercher à partir d'une troisième catégorie d'indicateurs.

En définitive, on s'aperçoit qu'il existe de nombreuses variables susceptibles d'intervenir dans l'effet d'une formation mais aussi une temporalité entre le moment de la formation et ses effets attendus. Kirk (9) a donné le schéma général suivant de ce processus :

Nous avons vu qu'il existe pour chacun de ces des indicateurs spécifiques. Il existe également des indicateurs globaux, par exemple et la confiance des pairs et la satisfaction du patient. Cette dernière va se manifester, directement ou indirectement, par la réputation du médecin, la file d'attente, ….

L'évaluation générale des effets de la FMC, à partir d'indicateurs, est assez récente. Les résultats des analyses de littérature qui en font état ne se recouvrent que partiellement

Une analyse de la littérature réalisée dans le cadre d'une convention entre le Ministère du Travail et des Affaires Sociales et l'Institut d'Études des Politiques de Santé (5) portant sur 3000 articles concernant la période 1992-1996 a conduit aux conclusions suivantes concernant la FMC :

• il existe un niveau de preuve suffisant pour conclure que la diffusion simple de matériels éducatifs n'a pas d'impact sur la pratique médicale.
• il n'y a pas de preuve d'efficacité d'actions formelles de formation médicale continue : séminaires, exposés, enseignements divers, et ce quelque en soient les modalités pédagogiques.
• les "leaders d'opinion" (professionnels de santé désignés par leurs collègues comme influents en terme de formation) ont un impact démontré sur la pratique clinique.
• les méthodes faisant appel à l'"audit-feedback" (présentation et discussion de la pratique avec un collègue ou dans un groupe) ont un impact sur la pratique clinique. Cependant, cet impact est jugé cliniquement limité.
• les rappels au moment de la décision ("reminders") constituent les moyens d'intervention sur les pratiques cliniques dont l'efficacité est la plus importante. Le support du rappel peut être le papier, les feuilles de prescription, l'informatique voire le téléphone.

Ces conclusions un peu abruptes sont cependant modalisées dans ce rapport par le fait que

• les modalités d'intervention sont très variables et il est donc difficile d'en tirer des conclusions universelles. En particulier, certaines interventions paraissent plus adaptées dans un cadre de soin que dans un autre, qu'il soit géographique ou d'exercice.
• les preuves d'efficacité des différentes interventions sont démontrées dans des contextes expérimentaux et leurs effets s'épuisent dans le temps
• dans la plupart des cas (sauf celui des "rappels") les améliorations de pratique faisant suite à une intervention sont modestes.

Une analyse de P. Chantillon et R Jones (3) aboutit à des conclusions sensiblement différentes :

• les méthodes les plus efficaces sont celles où l'enseignement est lié à la pratique clinique et à un événement exceptionnel, les réunions interactives et les stratégies qui impliquent des interventions multiples.
• les stratégies d'efficacité moyenne incluent l'audit, les processus consensuels locaux et l'influence des leaders d'opinons.
• les méthodes les moins efficaces sont constituées par les cours et le matériel imprimé distribué (incluant les recommandations cliniques).

Une analyse de D. Davis et al. (4) , spécialiste incontesté de ces questions, aboutit aux conclusions que l'effet final des interventions de FMC doit être considéré en prenant en compte les méthodes à partir desquelles la formation est délivrée, ce qui implique tout un ensemble de variables qui impliquent non seulement l'interaction et la qualité des ressources disponibles, mais aussi l'environnement et les facteurs personnels, interpersonnels et professionnels qui concernent l'enseigné.

Cette étude insiste sur trois variables essentielles :

• démarche active d’étude de l’élève
• orientation longitudinale et en plusieurs sessions de la formation
• utilisation de méthodes facilitant l’intégration des connaissances acquises dans la pratique

Davis, dans sa conclusion, pose la question de l'organisation actuelle de la FMC, généralement axée sur les Congrès et qui prend habituellement peu en compte finalement ces dimensions dans ces réalisations souvent prestigieuses (et coûteuses).

Ces éléments confirment en fait des notions connues de puis longtemps :

L'importance du rôle de l'enseigné (qui ne doit pas être une sorte de cible passive quelque soit la qualité des moyens mis en œuvre), de celui de l'enseignant (qui doit jouir d'une audience reconnue), de la relation à la pratique réelle du praticien, de procédures de rappel de l'information.

Un autre facteur semble essentiel, c'est celui du rôle propre de l'expérience propre du praticien quand à l'efficacité des procédures diagnostiques et thérapeutiques qu'il met en œuvre.

Voici quelques cas concrets évalués, impliquant des méthodes pédagogiques différentes, qui illustrent ce qui précède et peuvent donner des idées sur ce qu'il faut éviter et rechercher.

1. Diffusion de documents pédagogiques.

Différentes enquêtes (7) ont été réalisées pour évaluer l' impact de la conférence de consensus " Stratégies thérapeutiques à long terme dans les psychoses schizophréniques " organisée en 1994 à Paris par la Fédération Française de Psychiatrie selon la méthode formalisée par l'ANDEM. L'analyse a porté sur plusieurs dimensions : audience, connaissance, modification des pratiques. Une étude a été menée auprès d'un échantillon de psychiatres sur les pratiques déclarées et sur la connaissance des recommandations, le suivi d'une cohorte de patients schizophrènes avec étude des prescriptions avant et après la diffusion des recommandations. Les résultats ont été comparés à ceux d'une enquête pharmaco-épidémiologique sur des patients recevant des neuroleptiques et à ceux d'une enquête sur les prescriptions des médecins libéraux. Pour les pratiques des psychiatres, on observe un écart entre les données déclaratives et les données factuelles, ce qui est une constatation habituelle dans les enquêtes d'impact. La prescription de neuroleptique en monothérapie, recommandée lors de la conférence, est passée de 51,1 % des traitements avant la conférence (1993) à 56,4 % deux ans après celle-ci (1996). Par contre la fréquence de prescription des correcteurs anticholinergiques est passée de 48,2 % des prescriptions en 1993 à 54,3 % en 1996, contrairement à la recommandation émise. Deux ans après la conférence, les résultats apparaissaient donc contrastés.

Cette constatation se retrouve dans d'autres spécialités. Par exemple, plusieurs études ont été menées à propos de la prise en charge des pneumopathies en médecine générale. Une Conférence de consensus avait eu lieu en 1991 sous l'égide de la Société de Pathologie Infectieuse de Langue Française , avec l'établissement de recommandations.

Les deux premières études, concernant le traitement des pneumopathies aiguës (11).et les surinfections de bronchite chronique (12) ont montré que les médecins adoptaient une attitude très proche de celle recommandée par la Conférence de consensus. Une troisième étude réalisée en 1995 (14) a montré que les choix thérapeutiques des médecins généralistes concernant les pneumopathies infectieuses aiguës avaient changé depuis la mise en place des RMO (Références médicales Opposables) : les prescriptions antibiotiques se rapprochent des standards de qualité des soins représentés par les recommandations de la conférence de consensus. Par contre, aucun changement n'a été constaté durant cette période concernant les examens complémentaires qui n'étaient pas inclus dans les RMO. L'interprétation de cette différence peut être interprétée en terme de risque de pénalité, mais également par le fait que les textes des conférences peuvent avoir été mal diffusés ou peu clairs dans leur libellé. Les auteurs notent également que la Formation Médicale Continue n'était pas obligatoire en 1992 alors qu'elle représente un moyen privilégié de dissémination des recommandations pratiques.

Une quatrième étude a concerné le changement de comportement des médecins généralistes entre l'hiver 1996-1997 (avant la publication de nouvelles recommandations concernant la prise en charge des broncho-pneumopathies chroniques obstructives) et durant l'hiver 1997-1998 (après), en comparant 3 populations de médecins ayant reçu : 1) aucune information particulière en dehors de celle reçue par la presse ; 2) le résumé des recommandations publiées ; 3) le résumé accompagné d'une check-list pouvant guider le médecin au cours de la consultation dans l'application des recommandations. On n'a pas retrouvé de différence significative entre les 3 groupes et les auteurs concluent que tout ce temps investi par les experts, les scientifiques et les sociétés savantes à élaborer ces recommandations devrait inciter à augmenter les moyens mis en œuvre pour déterminer comment mettre en pratique ces dernières..

2. Programme de formation à intervention unique

Nous n'avons pas trouvé l'évaluation d'une formation de ce type en psychiatrie. Par contre, une étude a évalué l'impact d'un programme de formation de médecins généralistes sur leur comportement en prescription de dépistage des cancers du sein et du col de l'utérus (2). Aucune différence significative n'a été retrouvée entre le groupe intervention et le groupe contrôle concernant le nombre de mammographies prescrites, le groupe intervention ayant cependant prescrit mieux observé les indications d'âge. D'autre part, les résultats concernant les frottis vaginaux ont été inverses par rapport à ceux attendus, cde qui montre l'importance des messages car des effets négatifs peuvent en résulter.

3. Méthode pédagogique à interventions multiples

Un programme suédois destiné aux généralistes sur le traitement des troubles dépressifs a été particulièrement étudié (6, 10). Il a eu lieu en 1982 dans l'île de Gosland, aire naturelle de 56 000 habitants située dans la mer Baltique, et été étudié principalement en 1985.

Cette étude a porté sur la comparaison de 4 périodes. La première (oct-janv 82/83) a été consacrée à la définition d'une ligne de base concernant la santé des habitants de l'île, suivie en février d'une enquête portant sur les connaissances des médecins à propos de la dépression, leurs attitudes et leurs procédures thérapeutiques.

Deux programmes d'éducation ont été menés : le premier en 1982 (avr-mai) et le second en 1984 (juin-août). Chacun a été suivi d'une évaluation immédiate par les praticiens (concernant le contenu des conférences, la qualité du matériel présenté, l'utilité de l'information reçue, les suggestions pour des formations ultérieures) et d'une enquête de santé à 6 mois, puis à 18 mois après le second programme, pour voir quels étaient les effets à long terme.

Le programme d'enseignement a impliqué différentes méthodes et supports : conférences générales suivies de discussions, études de cas, présentations audiovisuelles. Un questionnaire très interactif et centré sur la pratique a été adressé aux généralistes avant, pendant et après le programme.

Du côté des médecins, on a pu suivre une évolution dans leurs réponses : plus pragmatiques, ouvertes à l'environnement multifactoriel, plus précises quand au diagnostic et à l'indication d'un traitement par rapport à un autre.

Au niveau de la santé, l'évaluation a porté sur les indicateurs suivants : les consultations à l'unité psychiatrique (m), les urgences, les arrêts maladie (m), la prescription de médicaments psychotropes (k des antidépresseurs, m des sédatifs et hypnotiques), les hospitalisations pour troubles dépressifs (m : /3) et les suicides (m : 25/100 000 -> 7/100 000).

Le pourcentage de patients souffrant de troubles dépressifs majeurs est passé de 25% avant le programme éducatif à 13% après le programme 1, à 10% après le programme 2 et à 5% 18 mois après le premier programme. Il n'y a plus eu un seul suicide en 84 et 85 de personnes ayant consulté auparavant un généraliste.

L'évolution a aussi été comparée à celle des populations d'autres régions : on n'a pas retrouvé la même évolution.

Trois ans après la fin du projet, le nombre des patients suivis pour troubles dépressifs a recommencé à progresser, le taux de suicide est revenu pratiquement à son taux de départ et la prescription d'antidépresseurs s'est stabilisée. Les auteurs en déduisent que, d'une part, dans ce cas la relation de causalité entre les modifications de l'état de santé des patients, comportement médical et formation est affirmée et que, d'autre part, le programme doit être reproduit tous les deux ans pour obtenir des résultats durables. Le coût du programme a été environ de 0,5% du bénéfice annuel en termes économiques.

4. Programme de formation à la psychothérapie avec supervision individuelle

1) Une évaluation impliquant la capacité clinique et relationnelle a été effectuée à l'occasion d'un programme de formation de psychothérapeutes à Genève (8).

La question était : le spécialiste en psychothérapie obtient-il de meilleurs résultats par rapport à un débutant, à un médecin généraliste ou à un non professionnel ?

Des chercheurs avaient observé en effet que de bons pédagogues sans formation psychothérapique spécifique avaient obtenu, à court terme, des résultats comparables à ceux de thérapeutes formés. D'autres signalaient même que des assistants sociaux pouvaient obtenir des résultats meilleurs que des psychiatres ou des psychologues.

L'étude a porté sur le suivi prospectif de psychothérapies attribuées à des psychothérapeutes en formation et à des psychothérapeutes formés. En Suisse, où s'est déroulée cette étude, les psychiatres psychothérapeutes bénéficient d'une formation théorico-pratique structurée de 6 ans. Chaque patient a été évalué au cours de la sélection, puis à la sixième séance puis à un an par des psychiatres cliniciens expérimentés faisant partie de l'équipe de recherche et également par le responsable du traitement. L'évolution a été suivie au niveau de sept symptômes (anxiété, tolérance à l'anxiété, dépression, souffrance ressentie, idées de suicide, culpabilité, immaturité et relations personnelles) et d'un indice d'évolution globale. La cohorte de patients étaient constituée de sujets jeunes souffrant de symptômes dépressivo-anxieux de gravité modérée à sévère, les plus sévères étant attribués de façon générale aux cliniciens formés.

La comparaison des deux sous groupes a montré que la qualité globale de l'évolution clinique était meilleure dans le groupe des psychothérapies prises en charge par des thérapeutes formés. D'autre part, les thérapies confiées à des débutants comportaient un nombre plus élevé de ruptures précoces de contrat thérapeutique.

Dans ce cas la variable "formation" se trouve finalement corrélée avec la capacité d'obtenir de meilleurs résultats, mais avec l'intervention de deux autres variables : la gravité des troubles et le maintien du lien thérapeutique. Il faut ajouter à cela que si les évaluations à 6 semaines révélait une nette amélioration dans les deux groupes, l'évolution au cours de la phase suivante était corrélée à la formation du thérapeute.

Une autre étude a confirmé ces résultats : il s'agissait de comparer des consultations de première enfance réalisées par des pédopsychiatres d'une part et des puéricultrices d'autre part. Les consultations étaient vidéoscopées et c'est l'interaction entre la mère qui consultait et le thérapeute qui a été étudiée. Il s'est avéré qu'à un certain niveau de pathologie les puéricultrices "décrochaient", ce qui se traduisait par une fin de consultation sans entrain et sans véritable alliance thérapeutique. Dans de nombreux cas, la mère ne revenait pas. A l'inverse, si le cas était difficile mais que le thérapeute avait une formation plus complète et faisait face, le thérapeute et la mère partageaient à un moment donné le sentiment d'avoir compris quelque chose au symptôme de l'enfant. L'affaire était gagnée et l'on pouvait prédire qu'il y aurait une autre consultation, contrairement à ce qui passait lorsqu'il n'y avait pas eu d'effet "Eureka". Ces cas avaient une bonne évolution.

On s'aperçoit donc là que la formation s'exprime non seulement dans la capacité de faire face mais également de construire et de soutenir une "alliance thérapeutique". Celle-ci, ainsi que la durée du traitement qui lui est liée, vont intervenir positivement sur les résultats thérapeutiques, comme cela a été démontré ailleurs.