Lvaluation en stage clinique

1
Lévaluation en stage clinique
Jean JOUQUAN Bureau de Pédagogie Médicale
Faculté de Médecine de Brest, Université de
Bretagne Occidentale
XVI Journées universitaires francophones de
pédagogie médicale. Cotonou, 6 avril
2005Session organisée sous légide de la
2
Outcome-based education
Evaluation de lenseignement (formations)
?
Evaluation
Evaluation des apprentissages (étudiants)
Conséquences, impact
3

• Quels sont les enjeux et quel est lobjet de
  lévaluation des apprentissages en stage?

• De quels outils dévaluation des apprentissages
  en stage dispose t-on?

• Y a-t-il des bons et des mauvais outils pour
  lévaluation des apprentissages en stage?

• Quelles recommandations peut-on formuler pour
  lévaluation des apprentissages en stage?

• Quelques questions de recherche concernant
  lévaluation des apprentissages en stage

4

• Quels sont les enjeux et quel est lobjet de
  lévaluation des apprentissages en stage?

5

• Le contexte des stages cliniques est
  potentiellement le contexte le plus motivant et
  le plus puissant pour lenseignement et
  lapprentissage des compétences cliniques
  intégrées.
• D. Prideaux et al.
• Clinical teaching maintaining an educational
  role for doctors
• in the new health care environment
• Med Educ 2000 34 820-826

• Les stages cliniques (externat) sont loin de
  fournir régulièrement un environnement
  dapprentissage idéal pour les étudiants.
• R. Remmen et al.
• An evaluation study of the didactic quality of
  clerkships
• Med Educ 2000 34 820-826

• The clinical teaching context a cause for
  concern.
• J.Spencer
• Med Educ 2003 37 182-183

6

•  Evaluation drives curriculum 
• G. Miller, 1961

  Si vous voulez savoir ce que font les
professeurs, regardez le programme  
 si vous voulez savoir ce que font les
étudiants, regardez le système dévaluation ! G.
Norman, 1991
7
Professionnalisme
Compétence clinique
Connaissances hautement organisées
Processus de contrôle de haut niveau
Raisonnement clinique
Investigation
Décisions thérapeutiques
Education du patient
Performances cliniques
Action médicale
Ethique
8

• Les problèmes de santé rencontrés en stage
  sont-ils représentatifs des futures pratiques
  professionnelles des étudiants ?

9

• Quels sont les enjeux et quel est lobjet de
  lévaluation des apprentissages en stage?

• De quels outils dévaluation des apprentissages
  en stage dispose t-on?

10
?
?
?
?
?
?
Performances cliniques
?
Pratiques médicales réelles
Modifié d après Newble, Norman et Van der
Vleuten, 2000
11
Respect de la dignité
?
?
Professionnalisme
?
?
?
Altruisme
Sens du devoir
Exigence dinformation
?
Autonomie
Compétence clinique
Responsabilité
Respect
Action médicale
?
?
Excellence
Empathie
?
Intégrité
Bienfaisance
Consentement
?
Ethique
?
12
Tâches académiques

• Questions à réponse ouverte et courte (QROC)

• Questions à choix multiples (QCM)

• Cartes conceptuelles (Concept mapping)
• Représentations visuelles et propositionnelles
  de concepts thématisés, liés entre eux par une
  relation explicitement nommée (causalité,
  conditionnalité, identité, ) organisés
  hiérarchiquement, à légard desquelles un
  jugement qualitatif ou semi-quantitatif peut être
  porté.).

13
Tâches professionnelles simulées ou modélisées (1)

• Analyse de cas cliniques Patients Management
  Problem (PMP) Sequential Managment Problem
  (SMP)  Modified Essay Question (MEQ)
• Dossier clinique (sous forme papier ou sous
  forme numérique) dont les informations sont
  fournies de manière séquentielle, linéaire ou
  bien algorithmique, à la demande de létudiant,
  après chacune de ses réponses (ouvertes ou
  fermées).
• La démarche employée par létudiant est comparée
  à celle dun expert ou dun groupe de référence
  et lappréciation est formulée à laide de scores
  plus ou moins combinés.

14
Tâches professionnelles simulées ou modélisées (2)

• Test de concordance de script (TCS)
• Un problème clinique est soumis à létudiant qui
  doit interpréter des données et prendre des
  décisions.
• Des hypothèses dinterprétation ou de décisions
  lui sont fournies en même temps que des
  informations nouvelles lui sont communiquées.
• Létudiant doit indiquer à laide dune échelle
  limportance du crédit ou du discrédit que
  linformation nouvelle apporte à lhypothèse. Un
  score est attribué en prenant en compte des
  prévalences respectives de plusieurs opinions
  dexperts.

15
Tâches professionnelles simulées ou modélisées (3)

• Examen Clinique Objectif Structuré (ECOS)
• Une personne (bien portant, patient stabilisé,
  comédien) est entraînée à jouer de manière
  reproductible le rôle standardisé dun patient.
  Les activités dinterrogatoire, dexamen
  physique, déducation et de conseil de létudiant
  sont appréciées à laide de  check-lists ,
  déchelles de cotation, élémentaires ou globales.
  
• Des tâches procédurales complémentaires
  exploitant divers matériels (mannequins,
  imagerie, résultats de laboratoire, ECG,) sont
  prescrites et côtées. Lensemble fait lobjet de
   stations  dévaluation (indépendantes ou
  complémentaires) codifiées.

16
Observation directe de létudiant dans une tâche
professionnelle non standardisée (1)

• Formulaire dobservations longitudinales
• Des échelles de notation sont développées pour
  mesurer 10 dimensions le jugement clinique, les
  connaissances médicales, linterrogatoire,
  lexamen physique, les habiletés procédurales,
  les habiletés interpersonnelles, les soins
  médicaux, lhumanisme, le professionnalisme, la
  compétence générale.
• Des descripteurs comportementaux sont établis
  pour chaque seuil performances non
  satisfaisantes (1-3), satisfaisantes (4-6),
  supérieures (7-9).

17
Observation directe de létudiant dans une tâche
professionnelle non standardisée (2)

• Clinical Evaluation Exercise (CEX)
• Létudiant est observé pendant quil interroge et
  examine un patient puis il présente le cas et en
  discute la gestion. La cotation est faite à
  laide dune échelle dévaluation à 9 points
• Objective Structured Long Examination Record
  (OSLER)
• Létudiant est observé par 2 examinateurs
  pendant quil interroge et examine un patient
  puis il argumente sa prise en charge. Les
  examinateurs fondent leur jugement en appréciant
  10 items. Chaque item fait lobjet dune cotation
  (en 3 grades) et dun score (en 9 paliers de 35 à
  80), étayée par des descripteurs critèriés.

18
Outils visant à documenter des apprentissages
effectués à partir de pratiques réelles 

• Audit de dossiers médicaux
• Des  biopsies  sont effectuées parmi les
  dossiers des patients pris en charge par les
  étudiants. Les informations  objectives  du
  dossier (observations, pancartes, courrier,
  prescriptions, feuilles de surveillance) sont
  analysées et appréciées
• .

19
Outils visant à documenter des apprentissages
effectués à partir de pratiques réelles 

• Portfolio
• Collections organisées de matériel apportant des
  informations sur les apprentissages effectués et
  sur les compétences développées par un étudiant
  au cours d'une période
• -récits de problèmes complets ou de certains
  évènements (échecs, incidents,...), notes
  d'analyse bibliographique, résumés d'entretiens
  avec des personnes ressources, descriptions de
  projets en cours, "journaux de bord" d'activités
  professionnelles, vidéo-clips d'entretiens avec
  des patients ou de tâches procédurales, .... 
• -une analyse réflexive développée à partir de
  cette base dinformation.

20

• Quels sont les enjeux et quel est lobjet de
  lévaluation des apprentissages en stage?

• De quels outils dévaluation des apprentissages
  en stage dispose t-on?

• Y a-t-il des bons et des mauvais outils pour
  lévaluation des apprentissages en stage?

21
La démarche évaluative

• 1. Recueillir des informations relatives aux
  apprentissages réalisés pendant et/ou à lissue
  dune période de stage

• 2. Interpréter ces informations afin de porter
  un jugement quant à la valeur de ces
  apprentissages

• 3. Dans le but de prendre une décision

22
Quelques conceptions et/ou pratiques erronées en
matière dévaluation (1)

• Lévaluation se limite au recueil des
  informations (souvent à laide dune mesure)

9, 5 /20 (mesure)
mauvais (jugement)
ajourné (décision)
10, 5 /20 (mesure)
bon (jugement)
reçu (décision)
23
Quelques conceptions et/ou pratiques erronées en
matière dévaluation (2)

• Lévaluation se limite au jugement (les
  informations qui létayent ne sont pas connues ou
  ne sont pas explicites)

très bon stage
étudiant intelligent très motivé
travail insuffisant
24
Quelques conceptions et/ou pratiques erronées en
matière dévaluation (3)

• La mesure est confondue avec la note

Le résultat dune mesure est un score (résultat
ou somme des résultats à des tests)
La note est une manière codifiée de
communiquer le résultat dune évaluation
(décision) et de le rendre public - valeur
numérique 8/20, 80/100 - ou cote littérale
A, B,
25
La perspective DOCIMOLOGIQUE de l évaluation
La perspective de l évaluation
 AUTHENTIQUE  (in-training assessment)

• Les informations relatives aux apprentissages
  doivent résulter dune mesure
• La qualité métrologique des instruments de
  mesure est le garant de la rigueur de
  lévaluation
• Les apprentissages sont mesurés indirectement
  grâce à des tests (tâches) standardisés
• Clivage entre les situations d apprentissage et
  les situations d évaluation

• Les informations relatives aux apprentissages
  résultent de procédures éclectiques
• Les critères de rigueur sont ceux de lapproche
  qualitative
• Les apprentissages sont appréciés directement à
  partir de performances, de travaux personnels des
  étudiants
• Enchâssement de lévaluation dans les situations
  dapprentissage

26
Problème à résoudre

• Problème simple
• (well structured problem)
• tous les indices sont disponibles d emblée
• la solution requiert des tâches familières
• peuvent être résolus avec un haut degré de
  certitude
• les experts saccordent sur la nature de la
  solution correcte

• Problème complexe
• (ill structured problem)
• les indices nécessaires à la solution ne sont pas
  (tous) disponibles d emblée
• le problème évolue au cours de son investigation
• la solution n est pas standardisée mais unique
• ne peuvent pas être résolus avec un haut degré de
  certitude
• Les experts sont souvent en désaccord quant à la
  meilleure solution à mettre en uvre, même quand
  le problème peut être considéré comme ayant été
  résolu

• But visé appliquer la  bonne  solution

• But visé élaborer et argumenter lune des
  solutions raisonnables possibles

27
RAISONNEMENT CLINIQUE
Un processus général qui s opère sur et grâce à
des connaissances spécifiques
Acquisition initiale d informations
Genèse d hypothèses
Cueillette orientée de données
Evaluation des hypothèses
Sélection Confirmation du diagnostic Planificatio
n du traitement
28
(No Transcript)
29

• Quels sont les enjeux et quel est lobjet de
  lévaluation des apprentissages en stage?

• De quels outils dévaluation des apprentissages
  en stage dispose t-on?

• Y a-t-il des bons et des mauvais outils pour
  lévaluation des apprentissages en stage?

• Quelles recommandations peut-on formuler pour
  lévaluation des apprentissages en stage?

30
L introuvable  étalon or  (1)Le problème des
outils pour évaluer la compétence

• Aucun outil d évaluation utilisé isolément
  nest capable d évaluer adéquatement les
  connaissances, habiletés et attitudes d un
  résident.
• Holmboe ES, Hawkins RE. 1998

• Il est peu encourageant mais probablement
  véridique de dire que nous n avons aucune
  méthode raisonnablement fiable pour évaluer la
  compétence clinique.
• Newble D, Norman G, Van der Vleuten. 2000

• Il n y a aucune méthode idéale pour évaluer la
  compétence médicale
• -Donabedian A. 2000

31
L introuvable  étalon or  (2)Le problème de
la définition des  standards 

• Malheureusement, nous ne disposons pas de
  critère de référence objectif pour déterminer
  quels devraient être les standards de ce fait,
  nous n avons aucune méthode probante pour
  décider si un standard est trop haut ou trop
  bas.
• Kane MT, Crooks TJ et Cohen AS., 1999

• La plupart des procédures d établissement des
  standards pour l évaluation des compétences sont
  discutables en raison de leur caractère
  arbitraire et de leur non-fidélité.
• Friedman BenDavid M. 2000

32
8 recommandations pragmatiques

• Utiliser plusieurs outils dévaluation des
  apprentissages en stage
• Tâches standardisées et tâches authentiques
• Tâches explorant à la fois le processus et le
  résultat

• Utiliser chaque outil plusieurs fois au cours
  dun stage
• Echantillon varié et représentatif de cas
  cliniques
• Nombre suffisant dinteractions avec des patients
  ou des patients  standardisés 

• Recueillir des informations visant à documenter
  le niveau réel de compétence attendu des
  étudiants.
• Cotation selon jugement global vs cotation avec
  check-list

33
8 recommandations pragmatiques

• Utiliser des procédures d évaluation cohérentes
  avec les options pédagogiques conceptuelles du
  programme, compte tenu des conséquences attendues
  chez les étudiants.
• Raisonnement clinique vs recueil protocolaire de
  lobservation
• Problèmes complexes vs problèmes simples

• Lorsque des entrevues avec des patients sont
  exploitées pour lévaluation des apprentissages
  en stage
• Observer directement létudiant pendant son
  interaction avec le patient
• Faire verbaliser à haute voix létudiant sur le
  processus quil a développé

34
8 recommandations pragmatiques

• Si lauto-évaluation des étudiants est sollicitée
  dans le cadre de la démarche évaluative,
  laccompagner systématiquement dun dispositif de
  rétro-action (supervisions cliniques
  récurrentes, tutorat,

• Rendre explicite aux étudiants, dès le début du
  stage, la nature des tâches dévaluation et les
  critères qui seront pris en compte pour la
  correction et/ou pour la détermination de la
  réussite.

• Développer des procédures d évaluation
  cohérentes avec les ressources du programmes
  (évaluateurs, budget, temps, logistique de
  soutien,) et avec les valeurs culturelles et
  sociales

35
Conclusions

• Dispose t-on d un outil  idéal  d évaluation
  des apprentissages en stage?

• Peut-on se dispenser d évaluer les compétences
  cliniques et professionnelles?.

• Quels sont les  moins  mauvais  outils
  d évaluation des compétences cliniques et
  professionnelles ?

• Faut-il uniformiser les procédures
  d évaluation des compétences dans toutes les
  facultés?

• Comment répondre à  l exigence sociale de
  qualité 

• Comment peut-on améliorer le dispositif?

36
Quelques questions de recherche
actuelles concernant lévaluation en stage

• Combien dobservateurs et combien dévaluations
  sont-elles nécessaires pour fournir des
  renseignements valides et fidèles sur la
  compétence clinique ?

Quels attributs comportementaux faut-il évaluer
pour prédire avec sécurité un niveau acceptable
de compétence clinique ?
Dautres modèles théoriques de la compétence
clinique permettraient ils de développer des
procédures plus acceptables en termes de
faisabilité ?
37

• Questions dordre ontologique
• quelle est la nature des apprentissages à
  évaluer ?

• Questions dordre épistémologique
• quelle relation lévaluateur doit-il entretenir
  avec lapprenant à évaluer ?

• Questions dordre méthodologique
• quels sont les outils qui offrent le meilleur
  compromis entre qualités psychométriques et
  qualités éducationnelle ?

• Processus de nature éthique
• au nom de quoi avons-nous pris nos décisions ?

38
(No Transcript)