D

1
Déterminer la note de passagedansun examen de
qualification professionnelle

• Serge Normand, M.A.
• Docimologue
• Exposé présenté au
• Collège des médecins du Québec
• 16 avril 2004

2
Déterminer la note de passage
Attentes multiples

• Un système
• répond aux besoins
• juste
• équitable
• objectif
• facile
• transparent

3
Déterminer la note de passage

• Quest-ce quévaluer ?
• Pourquoi sen préoccuper ?
• Comment interpréter les résultats ?
• Quelles sont les approches ?

4
Le processus de lévaluation
Examens Travaux Observationsetc.
Certification
Qualifier la réussite Seuil de passage
Approche - relative - absolue
5
Deux courants majeursissus des milieux
anglo-saxons
Competency-Based Assessment
Setting Performance Standards
6
Convergence des compétences médicales( mots clés
seulement )
Échelle nationale
U de M
Pré-clinique
Externat
CMFC - 2000
ProMEDS - 2000
Interrogatoire Examen physique Gestes
techniques Prise en charge Investigation Traitemen
t
Expertise médicale
Questionnaire Examen
Clinicien compétent et efficace
Communication
Communication
Communiquer
Relationmédecin-patient
Collaboration
Contexte
Travailler en équipe
Communautaire
Érudition
Intégrationconnaissances
Intégrationconnaissances
Ressource pour population définie de patients
Gestion
Jugement critiqueMaintien compétence
Promotionde la santé
Éducateur Promotion santé
Professionnalisme
Notions éthiques Professionnalisme
Éthique
7
Modèle de certification des compétencesCompetency
-Based Assessment
8
Évaluer la compétence professionnellePyramide de
Miller
Comportement Behaviour
Savoir Cognition
Source Miller GE. The assessment of clinical
kills/competence/performance. Academic Medicine
(Supplement) 1990 65 S63-S7.
9
Instruments dévaluationCurriculum de Dundee
Portfolio
ECOS
QCM-R QROC
QCM Q. dév.
Source DAVIS, M.H. OSCE the Dundee experience,
Medical Teacher 2003 25(3) 255-261
10
Bibliographie sélectiveNotation Standard
Setting

• BOULET, J.R. et al., Setting defensible
  performance standards on OSCEs and standardized
  patient examinations, Medical Teacher
  200325(3)245-249.
• CUSIMANO, MD. et al., The Effect of Incorporating
  Normative data into a Criterion-Referenced
  Standard Setting in Medical Education, Acad Med
  200378(10suppl)S88-90.
• DOWNING,SM et al., Establishing Passing Standards
  for Classroom Achievement Tests in Medical
  Education A Comparative Study of Four Methods,
  Academic Medicine, Acad Med 200378(10suppl)S85-8
  7.
• SMEE, SM., Setting standards for an objectif
  structured clinical examination the borderline
  group method gains ground on Angoff, Med Educ
  2001351009-1010.
• WILKINSON TJ. et al., Standard setting in an
  objective structured clinical examination use of
  global ratings borderline performance to
  determine the passing scores, Med Educ
  2001351043-1049.
• McILROY, JH., The Impact of an Alternative
  Approach to Computing Station Cut Scores in an
  OSCE, Acad Med 200075(10suppl)S18-20.
• FRIEDMAN BEN-DAVID, M., Standard setting in
  student assessment, AMEE Medical Education Guide
  No 18, University of Dundee, 2000.
• CIZEK, GJ., Setting Passing Scores, Educational
  Measurement Issues and Practice, NCME, 1996.
• CUSIMANO, MD., Standard Setting in Medical
  Education, Acad Med 199671(10suppl)S112-120.

11
Comment interpréter les résultats ?
12
Interpréter les résultats
13
Définitions( Kane, 1994 et Cusimano, 1996 )

• Criterion-referenced standard refers to a
  standard that is defined with regard to an
  acceptable specific measure of performance.
• This contrasts with a norm-referenced standard,
  which is defined according to a specific point in
  the distribution of scores of a group of
  examinees.

14
Établir des normes de réussite Setting
Performance Standards
Niveau acceptable
C o m p é t e n c e s
15
Définitions( Kane, 1994 et Cusimano, 1996 )

• Standards are set on domain-score scales to
  identify master and non-masters.
• Cut-off scores are set on test-scores scales to
  make pass/fail decisions.
• In other words, the cut-off score is defined as a
  point on the score scale, and the performance
  standard is defined as a minimally adequate level
  of performance for some purposes.

16
Déterminer la note de passage
17
Un enjeu importantdéterminer la note de
passage( Setting Performance Standards )
How much is enough ?
Combien faut-il pour passer ?

• Méthodes
• Angoff
• Nedelsky
• Ebel
• Direct Borderline
• Etc

Candidat à la LIMITE  borderline 
18
Critiques Angoff et dérivés

• Difficulté pour lexpert de sidentifier au
  candidat dont la compétence est juste suffisante.
• Un jugement qui nexploite pas les résultats de
  lensemble de la cohorte de répondants.
• Temps requis.

Contexte examen pratique
19
Un enjeu importantdéterminer la note de
passage( Setting Performance Standards )
Combien faut-il pour passer ?
Résultats de lensemble de la cohorte de
répondants

• Méthodes
• Hofstee
• Contrasting Group
• Borderline Group
• Etc

20
Déterminer la note de passage( selon la méthode
de Ebel )
Situez chaque question ou élément de questions
qui composent lexamen dans les cellules de cette
grille par exemple, une questions de 3 points
comportera 3 entrées dans la grille. Dans chaque
cellule, une proportion de questions quun
candidat à compétence acceptable devrait réussir
est proposée. Pour chaque cellule, multipliez le
nombre de questions (ou déléments) par le
pourcentage correspondant et faites ensuite la
somme de ces produits. La valeur obtenue divisée
par le nombre total de questions (ou déléments)
constitue le seuil acceptable de performance pour
cet examen exprimé en pourcentage.
21
Déterminer la note de passage( selon la méthode
de Ebel )
Nombre de questions 72 SAP 61
22
Seuil Acceptable de Performance( selon la
méthode de Ebel )
Nombre d items 15 SAP 57
La pertinence repose sur le jugement des
experts La difficulté est établie à partir des
résultats observés
23
Déterminer la note de passage( selon la méthode
 Direct Borderline  )
Question 1 oui non
Question 2 oui non
Exemple Nombre de questions 25 Nombre de OUI
16 SAP 64
Question 3 oui non
Question oui non
Question oui non
Question 25 oui non
Indiquez pour chaque question si un candidat à
compétence acceptable devrait répondre
correctement à la question. Le nombre total de
 OUI  divisé par le nombre total de questions
constitue le seuil acceptable de performance pour
cet examen exprimé en pourcentage.
24
Déterminer la note de passage( selon la méthode
Hofstee )
25
Déterminer la note de passage Station ECOS(
selon la méthode Borderline Group )
26
Déterminer la note de passage ECOS( selon la
méthode Borderline Group )
27
Déterminer la note de passage
28
Questions

• Est-ce que notre système est juste ? défendable
  ? crédible ?
• Quelle est notre principale difficulté ?
• Quelle est notre meilleure réussite ?
• Devons-nous changer notre approche ?

29
Définitions( Kane, 1994 et Cusimano, 1996 )

• Standards are set on domain-score scales to
  identify master and non-masters.
• Cut-off scores are set on test-scores scales to
  make pass/fail decisions.
• In other words, the cut-off score is defined as a
  point on the score scale, and the performance
  standard is defined as a minimally adequate level
  of performance for some purposes.
• Criterion-referenced standard refers to a
  standard that is defined with regard to an
  acceptable specific measure of performance.
• This contrasts with a norm-referenced standard,
  which is defined according to a specific point in
  the distribution of scores of a group of
  examinees.

30
Distribution normale
68
95
31
Les formulesoù X et Y scores du  sujet  n
et N ensemble des  sujets 
Moyenne Mx
S X N
Écart type sx
S X - Mx 2 N
Variance sx sx2
Score standard Zx
X - Mx sx
Corrélation rxy
S X - Mx Y - My Nsxsy
32
Les formulesoù X score du  sujet , N
ensemble des  sujets et r xx indice de
fidélité
Moyenne Mx
S X N
Écart type sx
S X - Mx 2 N
Erreur type (moyenne) s x
sx N
Niveau de confiance à 95 plus ou moins
1.96 s x
Erreur de mesure se sx 1 r xx
33
FidélitéCoefficient d homogénéité interneAlpha
de Cronbach
a
k k - 1
S s 2 j s 2 t
1 -
où k nombre ditems s 2 j
variance des scores à litem j s 2 t
variance des scores à l ensemble du test
34
Critères pour apprécier les qualitésdun
instrument d évaluation

• Validité
• Mesure-t-il ce qu il prétend mesurer ?
• Fidélité
• Les résultats sont-ils constants et précis ?
• Commodité - Efficience
• Temps requis ? Coût ? Résultats ?

35
ValiditéQualité dun instrument de mesurer
réellement ce quil doit mesurer selon
lutilisation que l on veut en faire

• Congruence - objectifs
• Représentativité - items

Contenu
Interne

• Structure - schéma théorique
• Définition opérationnelle - trait

Construit
Concomitante

• Corrélation - mesures similaires

Externe
Prédictive

• Corrélation - variables à prédire

36
FidélitéQualité qua un instrument de mesurer
avec la même exactitude chaque fois quil est
administré à des sujets équivalents placés dans
des conditions similaires
ConstanceStabilité

• deux administrations
• corrélation

• deux formes parallèles
• corrélation

Équivalence

• interrelation entre les items
• homogénéité interne
• alpha de Cronbach

Consistance interne
37
Standardiser les notes( via la cote Z )
Zx
X - Mx sx
38
(No Transcript)