Diapositive 1

1
Faculté de médecine CPASS -Évaluation
Déterminer la note de passage et qualifier la
réussite dans des épreuves de certification
Serge Normand, M.A.
XVIIe Journées universitaires de pédagogie des
sciences de la santé CIDMEF Lille - 5-8 avril
2008
2
ObjectifsDéterminer une note de passage
Qualifier la réussite
3
Notation Action dattribuer un score ( chiffre ou
pourcentage )ou une cote ( lettre ou symbole )
sur les apprentissages.
Score Nombre exprimant le résultat obtenu à un
test, à un examen ouà une production scolaire.
Cote Symbole alphabétique ( A, B, C, D, E, F, ),
numérique (1,2,3,4,5, ) ou autre qui traduit le
résultat dune performance.
Note Valeur numérique qui traduit le résultat de
la mesure ou de lappréciation dune performance.
Note de passage Seuil de réussite appliqué à la
totalité dun instrument de mesure qui porte sur
un large domaine et imposé à tous les répondants.
Legendre, R, Dictionnaire actuel de léducation,
2005
serge.normand_at_umontreal.ca
4
20 19 18 13 12 11 10 9 1
serge.normand_at_umontreal.ca
5
Comment déterminer une note de passage qui soit
la plus  juste  possible ?
Comment qualifier la réussitedans une cohorte de
candidats qui ont subi une épreuve dévaluation
des apprentissage ?
6

• Épreuves écrites
• Méthode EBEL
• Cote Z
• Approche Hofstee

Grilles dobservation 4. ECOS Borderline
Group 5. Échelles descriptives
7
Évaluer les apprentissages
Rappel
Examens Travaux Observationsetc.
Approche - relative - absolue
Certification
Qualifier la réussite Note de passage
8
Évaluer les apprentissages
Approche - relative - absolue
9
Comment interpréter les résultats ?
10
Interpréter les résultats
11
Évaluer les apprentissages
Qualifier la réussite Note de passage
12
Un enjeux importantdéterminer la note de
passage( Setting Performance Standards )
Combien faut-il pour passer ?
How much is enough ?
Niveau acceptable
C o m p é t e n c e s
13
Déterminer une note de passage
14
Un enjeux importantdéterminer la note de
passage( Setting Performance Standards )

• Méthodes
• Angoff
• Nedelsky
• Ebel
• Hofstee
• Contrasting Group
• Borderline Group
• Direct Borderline (2003)
• Etc

Candidat à la LIMITE  borderline 
15
Étude de cas No 1Méthode EBELDéterminer une
note de passage
16
Déterminer la note de passage ( selon la méthode
EBEL )
Situez chaque question ou élément de questions
qui composent lépreuve dans les cellules de
cette grille par exemple, une questions de 3
points comportera 3 entrées dans la grille. Dans
chaque cellule, une proportion de questions quun
candidat à compétence acceptable devrait réussir
est proposée. Pour chaque cellule, multipliez le
nombre de questions (ou déléments) par le
pourcentage correspondant et faites ensuite la
somme de ces produits. La valeur obtenue divisée
par le nombre total de questions (ou déléments)
constitue la note de passage pour cette épreuve
exprimée en pourcentage.
17
Déterminer la note de passage( selon la méthode
EBEL )
Nombre de questions 72 SAP 61
18
Déterminer la note de passage( variante méthode
 Direct Borderline  )
Question 1 oui non
Question 2 oui non
Exemple Nombre de questions 25 Nombre de OUI
16 SAP 64
Question 3 oui non
Question oui non
Question oui non
Question 25 oui non
Indiquez pour chaque question si un candidat à
compétence acceptable devrait répondre
correctement à la question. Le nombre total de
 OUI  divisé par le nombre total de questions
constitue le seuil acceptable de performance pour
cet examen exprimé en pourcentage.
19
Étude de cas No 2Utilisation de la cote
ZQualifier la réussite et/ou Déterminer la note
de passage
20
Moyenne Écart type N
69,5 13,13 99
21
Les formulesoù X et Y scores du  sujet  n
et N ensemble des  sujets 
Moyenne Mx
S X N
Écart type sx
S X - Mx 2 N
Variance sx sx2
Score standard Zx
X - Mx sx
22
Distribution normale
23
Distribution normale
68
96
µ
s
s
24
Moyenne Écart type N
69,5 13,13 99
75,4 10,0 99
Distribution Z standardisée
25
Moyenne Écart type N
76,1 10,04 99
69,5 13,13 99
Distribution Z normalisée
26
Utiliser la Cote Z pour
Niveau acceptable
Qualifier la réussite ?
C o m p é t e n c e s
serge.normand_at_umontreal.ca
27
Système de notation littérale
A A A- B B B- C C C- D D E
Excellent Très bon Bon Passable Échec
Identifier des  paliers  de réussite
28
Utiliser la Cote Z pour qualifier la réussite
A A A- B B B- C C C- D D E
Excellent Très bon Bon Passable Échec
29
Exemple de notation littérale via Cote Z
30
Utiliser un score standard ( Cote Z )pour
analyser le  profil  dun candidat
Cote Z Moyenne 0,0 Écart-type 1,0
Score standard Moyenne 500 Écart-type 100
31
Calculer un score standard à partir dune cote Z
Calculer le score standard pour une note de 81
Statistiques de la distribution
Calcul du score Z
Calcul du score standard
587 ( 0,87 X 100 ) 500
Score standard 587
32
Distribution normale Score standard
Moyenne 500
Écart-type 100
serge.normand_at_umontreal.ca
33
Profil de candidats en Scores standards
Candidat Ex 1 Ex 2 Ex 3 Ex 4 Ex
5 A 482 503 515 408 575 B 680 710 590 740 760
C 273 405 333 397 410
serge.normand_at_umontreal.ca
34
Étude de cas No 3Approche HofsteeDéterminer la
note de passage
35
Déterminer la note de passage( selon la méthode
Hofstee )
Quelle est la note de passage maximun ?
60
50
Quelle est la note de passage minimum ?
Quel est le maximun déchecs ?
10
30
Quel est le minimum déchecs ?
serge.normand_at_umontreal.ca
36
Étude de cas No 4Méthode  Borderline
Group Déterminer la note de passage - ECOS
37
Grille dobservationStation ECOSExamen clinique
objectif standardisé

Moyennes des scores par examinateurs
Fait Non fait Item 1 Item 2 Item
x TOTAL
?
?
?
1 Échec 2 Limite insuffisant 3 Limite
suffisant 4 Attendu 5 Excellent
?
Éval. Globale 1 2 3 4 5
38
Déterminer la note de passage Station ECOS(
selon la méthode Borderline Group )Station No 1
39
Déterminer la note de passage ECOS( selon la
méthode Borderline Group )
Cohorte Limite / Suffisant
serge.normand_at_umontreal.ca
40
Étude de cas No 5Échelles qualitatives et
descriptivesDéterminer la note de passage
41
ExemplesÉchelles qualitatives et descriptives
Critère coopération ( échange des idées )
Évaluation certificative
Évaluation formative
SCALLON, Gérard, Lévaluation des apprentissages
dans une approche par compétences, Édition du
renouveau pédagogique, 2004
42
Exemple dun protocole de notation pour grille
dobservation
Échelle de notation au-delà des attentes
(Plus ) conforme aux attentes (Attendu) en
deçà des attentes (Moins )
Protocole de notation 1. 100 des critères
cotés (Attendu) gt B si aucun critère
nest coté (Moins -) et que  2. 75 des
critères cotés (Plus ) gt A 3. 50 des
critères cotés (Plus ) gt A 4. 25 des
critères cotés (Plus ) gt A- si des
critères cotés (Moins -) sont présents et que
50 des critères sont cotés (Plus )  5. les
règles 2 à 4 sappliquent, mais la notation
littérale est réduite dun nombre de paliers
égal au nombre de critères (Moins -)Exemple 
si les règles 2 à 4 génèrent une notation de
A,mais que 2 critères ont été cotés (Moins
-),la notation sera réduite de 2 paliers à B
autrement  6. 10 des critères cotés (Moins
-) gt B 7. 20 des critères cotés (Moins -)
gt B 8. 25 des critères cotés (Moins -) gt
B- 9. 30 des critères cotés (Moins -) gt
C 10. 35 des critères cotés (Moins -) gt C
Situation déchec Si 50 des critères sont
cotés (Moins -) ou Si lun ou lautre des
critères déterminants sont cotés (Moins - )
43
Échelles dappréciation
Sait faire évoluerle domaine en innovant
Expert
Sait maîtriser parfaitementet sait transmettre
ses connaissances
Compétentprofessionnel confirmé
Sait maîtriser parfaitement
Compétentprofessionnel
Sait faire de manière autonomesans le soutien du
superviseur
Compétent
Sait faire avec le soutien du superviseur
Intermédiaire
Ne sait pas faire
Débutant
44
(No Transcript)
45
Critères déterminants
46
CPASS Évaluation, Faculté de médecine,
Université de Montréal, 2008
47
CPASS Évaluation, Faculté de médecine,
Université de Montréal, 2008
48
Vierset, V. et Foidart, J.M., Faculté de
Médecine. Université de Liège Service
Gynécologie-Obstétrique, 2007
49
Bibliographie sélectiveNotation Standard
Setting

• BOULET, J.R. et al., Setting defensible
  performance standards on OSCEs and standardized
  patient examinations, Medical Teacher
  200325(3)245-249.
• CUSIMANO, MD. et al., The Effect of Incorporating
  Normative data into a Criterion-Referenced
  Standard Setting in Medical Education, Acad Med
  200378(10suppl)S88-90.
• DOWNING,SM et al., Establishing Passing Standards
  for Classroom Achievement Tests in Medical
  Education A Comparative Study of Four Methods,
  Academic Medicine, Acad Med 200378(10suppl)S85-8
  7.
• SMEE, SM., Setting standards for an objectif
  structured clinical examination the borderline
  group method gains ground on Angoff, Med Educ
  2001351009-1010.
• WILKINSON TJ. et al., Standard setting in an
  objective structured clinical examination use of
  global ratings borderline performance to
  determine the passing scores, Med Educ
  2001351043-1049.
• McILROY, JH., The Impact of an Alternative
  Approach to Computing Station Cut Scores in an
  OSCE, Acad Med 200075(10suppl)S18-20.
• FRIEDMAN BEN-DAVID, M., Standard setting in
  student assessment, AMEE Medical Education Guide
  No 18, University of Dundee, 2000.
• CIZEK, GJ., Setting Passing Scores, Educational
  Measurement Issues and Practice, NCME, 1996.
• CUSIMANO, MD., Standard Setting in Medical
  Education, Acad Med 199671(10suppl)S112-120.

50
Merci de votre attention !
http//www.medbev.umontreal.ca/docimo
serge.normand_at_umontreal.ca
51
Les formulesoù X et Y scores du  sujet  n
et N ensemble des  sujets 
Moyenne Mx
S X N
Écart type sx
S X - Mx 2 N
Variance sx sx2
Score standard Zx
X - Mx sx
Corrélation rxy
S X - Mx Y - My Nsxsy
52
Les formulesoù X score du  sujet , N
ensemble des  sujets et r xx indice de
fidélité
Moyenne Mx
S X N
Écart type sx
S X - Mx 2 N
Erreur type (moyenne) s x
sx N
Niveau de confiance à 95 plus ou moins
1.96 s x
Erreur de mesure se sx 1 r
xx
53
FidélitéCoefficient d homogénéité interneAlpha
de Cronbach
a
k k - 1
S s 2 j s 2 t
1 -
où k nombre ditems s 2 j
variance des scores à litem j s 2 t
variance des scores à l ensemble du test