METHODOLOGIE D'ÉVALUATION DES PROGRAMMES

DES CONGRES ET MANIFESTATIONS A BUT DE FORMATION

DES SOCIETES SAVANTES

Par la Fédération des Spécialités Médicales

Introduction

L'agrément est en voie de devenir une obligation pour les différentes organisations de FMC (Facultés, Associations, Sociétés Savantes, institutions diverses). Ceci nécessite une évaluation des programmes de FMC Elle doit permettre de vérifier l'adéquation entre les besoins réels des personnes formées dans leur environnement et les programmes proposés (les objectifs de formation des médecins, les méthodes pédagogiques et les moyens utilisés).

Pour les autres professions de santé, ces mêmes principes sont valides.

I. Les buts de l'évaluation d'un programme de formation continue des professions de Santé

L' objectif est de former des médecins et professionnels aptes à satisfaire les besoins de santé de la société dans laquelle ils travaillent. Les objectifs de la formation médicale doivent donc être cohérents avec ces besoins.

L'évaluation doit d'abord situer les organisations de formation et leurs programmes dans leur environnement : besoins de la population, situation sanitaire, priorités nationales ou régionales (thèmes prioritaires des CNFMC par exemple)

L'évaluation doit ensuite vérifier la concordance entre les besoins de la société, les objectifs de formation et les programmes d'études (contenu et organisation, méthodes pédagogiques et d'évaluation, ressources humaines et matérielles disponibles).

Cette évaluation est essentiellement formative; elle n'a aucun caractère de sanction, ou de comparaison, ni souci d'uniformisation. Elle vise l'amélioration de la qualité de la formation par un processus dynamique qui mobilise l' organisation et par le développement d'une culture d'évaluation.

En plus de fournir une rétroaction externe à l'organisation, l'évaluation des programmes de formation permet de développer et d'entretenir chez les intervenants et les administrateurs un sens critique, grâce à la phase d'auto-évaluation qui doit comporter des jugements de valeur et ainsi favoriser la mise en place de mécanismes et de stratégies d'évaluation. Dans une stratégie de changement, les recommandations du rapport d'auto-évaluation, appuyées de celles de l'évaluation externe, constituent un outil très utile.

L' organisation de formation, ici la Société Savante, demande à être évaluée pour que la procédure d'évaluation puisse être amorcée.

NB: voir Fiche A « Lettre d' engagement de la Direction de la Société Savante à adresser à la Fédération des Spécialités Médicale »s

II. L'objet de l'évaluation.

L'évaluation porte sur la formation professionnelle faite en interne (les spécialistes de la discipline) et en externe. (autres spécialistes, généralistes ; outre la formation médicale continue, la formation des autres professionnels de la santé est concernée).

L'évaluation porte donc essentiellement sur l' adéquation entre les besoins de la société, les   objectifs institutionnels de la Société Savante, les objectifs du programme de formation continue et les moyens mis en oeuvre pour les atteindre. Le contenu du programme, les méthodes d'apprentissage, l'évaluation des participants et des enseignements, la disponibilité des ressources   doivent être évalués en fonction de ces objectifs.

La démarche doit ainsi   permettre de vérifier si, au terme de sa formation, le public -cible a atteint les objectifs du programme et d'en faire la démonstration dans la mesure du possible.

III. La démarche d'évaluation du programme.

Dans le cas d'une première évaluation, une rencontre préparatoire entre un expert de la FSM et la Direction de la Société Savante s'impose pour expliquer les buts et les étapes de la démarche (est dénommée « La Direction »   le ou les responsables de la Société, c'est à dire d' ordinaire le Président ou /et le Secrétaire Général si possible avec son Bureau)

La démarche d'évaluation proprement dite comprend trois étapes:

Première étape : L' évaluation interne (en deux parties) 

- Le recueil des données

- L'auto-analyse avec propositions d'améliorations

Deuxième étape : L'évaluation externe avec la visite.

Troisième étape : Le rapport final d'évaluation (synthèse).

1. Le recueil des données.

Le recueil des données permet de regrouper de façon systématique et uniforme les informations nécessaires à chacune des deux étapes subséquentes.

Elle consiste à retrouver toutes les informations concernant:

A/ Le cadre institutionnel de la Société Savante et son organisation:

Un organigramme de la Société Savante est indispensable

Structuration de la Société, textes réglementaires, liens et interactions avec d' autres institutions telles que Structure Professionnelle de Spécialité, les sociétés internationales, les filiales, sociétés nationales et régionales (Université, Ecoles, Structures associatives etc.)..

La mission et les objectifs institutionnels de la Société Savante.

L' annuaire ou le guide des formations de la Société Savante est indispensable; son mode de   diffusion (papier, internet).

Les liens éventuels avec des structures de soins en tant que terrains de stages ou d' utilisation des personnes ressources.

B/ Les procédures de planification du programme des formations:

Planification de chaque action réalisée par la société savante c'est à dire les objectifs de formation (modalités d' élaboration, d' approbation, de diffusion, de mise en application, de vérification); la conception et la gestion du programme (Comités et personnes concernées); le contenu;   les méthodes pédagogiques et moyens); l' évaluation des participants; l' évaluation des enseignements et des enseignants)

C/ Les participants:

Etude quantitative et qualitative; critères de sélection et modalités d' inscription; caractéristiques professionnelles; échecs et réussites s'il y a une validation ou certification; tutorat (aides pédagogiques et personnelles). Impact.

D/ Les ressources:

Installations; matériel; personnel intervenant (catégories, liens avec l' institution) interne et extérieur; personnel de soutien, de secrétariat et technique; les supports à l' enseignement (bibliothèque, matériel informatique etc.). Les ressources pédagogiques (par exemple structure pédagogique; formation pédagogique des intervenants; recherche en FMC)

Cette première étape est longue, surtout pour une première évaluation, mais elle est nécessaire, puisque les étapes subséquentes font appel aux données ainsi recueillies. On doit prévoir une durée d'environ un mois.

Le recours à des questionnaires est souvent utile. Il y a lieu de s'assurer que ces enquêtes de type quantitatif soient complétées par des analyses plus qualitatives. La tenue de tables rondes ou de rencontres personnalisées peut s'avérer fort utile à cet égard.

2. L'auto-analyse institutionnelle.

L'auto-analyse institutionnelle constitue l'étape la plus importante de la démarche. En effet,   elle oblige à un examen critique qui met en cause tous les éléments de la Société Savante (administrateurs, comités d' organisation, personnel de soutien,). Elle est l'occasion d'interactions entre ceux-ci; elle permet de dégager un consensus sur les points forts qu'il convient de consolider et sur les points faibles qu'il faut tenter de corriger. L'évaluation doit comporter des jugements de valeur sur le programme et sur les éléments qui le   composent. Il ne s'agit donc ni d'une simple description de l'état des lieux, ni d'une évaluation comparative avec d'autres organismes ou centres de formation continue.

L'opération est confiée à une commission spécifique (Commission d' Evaluation Interne) formée de plusieurs membres et présidée par une personne mandatée par la direction de la Société ou le Conseil d' administration. Ce peut être mais non obligatoirement le responsable FMC de la Société Savante. En plus de professionnels de l' institution (sans oublier un ou des administrateurs, cette Commission pourrait avantageusement comprendre une ou plusieurs personnes extérieures à celle-ci).

L'auto-analyse institutionnelle comporte deux étapes. La première consiste en l'examen des principaux secteurs d'activités

La deuxième étape de l'auto-analyse institutionnelle comprend l'analyse et la synthèse de données, l'identification des points forts et des points faibles du programme et de la méthodologie de sa conception . Ceci fait l' objet d'un rapport -synthèse; il devrait faire si possible l'objet d'un consensus auprès des personnes impliquées. Les désaccords doivent être transcrits. Il est loisible à la Direction de la société de produire son /leur propre rapport.

Il est utile que des participants (public -cible) participent à l'auto-analyse et ce, de deux façons: d'abord en participant aux travaux de la commission, ensuite et en produisant un rapport d'évaluation qui leur soit propre et qui porte sur les aspects qui les touchent de plus près, comme le programme, les méthodes pédagogiques, l'évaluation.

L'étape d'auto-analyse institutionnelle prend au minimum un mois , soit deux mois pour l' ensemble des deux   phases.

Environ un mois avant la date convenue pour la visite sur place ( quinze jours constitue un minimum), les membres de la Commission d'évaluation externe doivent recevoir le rapport interne   , rédigé par la commission d' auto-évaluation (si possible avec des considérations de la direction de la Société Savante et du public-cible), ainsi que tout autre document pertinent. Sont souhaitées dès ce stade toutes proposition d' amèliorations.

3. La visite d'évaluation.

            Le but de la visite par l' équipe d'évaluation externe est la validation de l'auto-analyse institutionnelle et des jugements portés. Cette visite contribue aussi à promouvoir la motivation des responsables de la Société Savante et l'objectivité de l'auto-analyse; elle incite au respect des échéances établies.

L' équipe d'évaluation externe de la FSM

L' équipe d'évaluation externe se compose de personnes de provenance diverse.

L'initiative de former l'équipe visiteuse revient à la FSM qui est le maître d'oeuvre de l'opération. Elle nomme Le président, le Secrétaire et les membres de l'équipe   en accord et après consultation de la Direction de la Société Savante qui fera l'objet d'évaluation.

Les membres de l'équipe visiteuse doivent être des personnes d'expérience, qui ont manifesté un intérêt pour la formation médicale continue. Elles doivent être neutres et objectives, ce qui impose qu'elle soit dans sa majorité composée de spécialistes et/ou de professionnels de santé externes à la Société Savante. Les membres issus de la spécialité concernée n'auront pas de responsabilité actuelle à l' intérieur de la Société Savante.

Il est essentiel que les membres de la Commission d'évaluation externe aient pris connaissance de toute la documentation avant la visite.

La visite

Le Président de l' équipe d'évaluation externe et la Direction de la Société Savante fixent le programme de la visite.

NB: la visite est prévue impérativement à l' occasion d'un congrès ou d' une manifestation de formation

La visite de la l' équipe d'évaluation externe dure au minimum un jour. Elle dépend de la durée de la manifestation. Les modalités précises seront définies au minimum un mois avant la visite. Elle comporte des rencontres avec les principaux intervenants: les membres de la direction, la Commission d'évaluation interne, les responsables pédagogiques et responsables du programme,,   des membres du public - cible de différents niveaux. La Commission visitera aussi les installations pédagogiques (amphithéâtres et salles de cours, etc.) à l' occasion du déroulement des formations.

NB: il est important qu' un déjeuner de travail réunisse l' équipe des visiteurs et des participants   (public -cible interne et externe à a Société Savante) en dehors de la présence des responsables de la Société afin de préserver l' objectivité de la discussion

Au terme de la visite, la Commission fait un rapport verbal à la Direction de la Société Savante. Ce rapport préliminaire présente les principales constatations en termes de points forts et de points faibles des programmes de formation et du fonctionnement de la Société, ainsi que les principales recommandations et suggestions envisagées. Ce rapport verbal est mis sur papier dans les meilleurs délais.

4. Le rapport d'évaluation.

En collaboration avec les autres membres de l' équipe d'évaluation externe, le secrétaire, avec l'accord du président, prépare un projet de rapport d'évaluation qu'il soumet aux membres de la Commission. pour commentaires, suggestions, corrections et approbation de l'ensemble du rapport.

En même temps ou par la suite, il transmet le projet à la Direction de la Société Savante à la seule fin de s'assurer qu'il ne contient aucune erreur de données ou d'interprétation; ce dernier peut aussi ajouter quelques réactions personnelles. Le projet doit alors rester tout - à -fait confidentiel.

Dans les meilleurs délais, au plus tard deux mois après la visite, le président ou le secrétaire de la Commission d'évaluation externe transmet le rapport final à la Direction de la Société Savante qui a formulé la demande d'évaluation. Ce rapport est confidentiel, à l'usage interne de l' institution Sa diffusion interne et externe est laissée à la discrétion du Directeur.

Les suites au rapport d'évaluation.

Au terme de l'année qui suit la réception du rapport de l' équipe d'évaluation externe, et par la suite, le cas échéant, il appartient à la direction de la Société Savante de faire un rapport au Président de la FSM et au Président de l' équipe d'évaluation externe sur les suites données au rapport, notamment quant aux recommandations.