Diapositive 1

1
Faculté de médecine Bureau dévaluation
Consolider nos pratiques en évaluation des
apprentissages Est-ce que la docimologie peut
nous aider ?
Serge Normand, M.A.
Mars 2008
2
Analyser, discuter, partager

• vos attentes
• vos réalisations
• vos problèmes

3
Question préalable
Quattendez-vous de lévaluation ?
4
Domaines de lévaluation en éducation
Agrément
Évaluation des apprentissages
Évaluation de lenseignement
Évaluation des programmes
5
Finalités dun systèmedévaluation des
apprentissages
Évaluation certificative
Évaluation formative
6
Le processus de lévaluation
Examens Travaux Observationsetc.
Certification
Qualifier la réussite Seuil de passage
Approche - relative - absolue
7
Lévaluation
Quoi
8
Quelle sorte de professionnel de la santé le
programme va-t-il produire ?
9
Dundee - Three Circle Model
The right person doing it
Professionalism
Approach to tasks
Doing the thing right
Performanceof Tasks
Doing the right thing
Référence Harden, R.M. et al., An introduction
to outcome-based education. Med Teacher
199921(1)7-14
10
http//crmcc.medical.org/canmeds/bestpractices/ind
ex.php
11
Lévaluation
Quoi (suite)
12
Évaluer la compétence professionnellePyramide de
Miller
Comportement Behaviour
Savoir Cognition
Source Miller GE. The assessment of clinical
kills/competence/performance. Academic Medicine
(Supplement) 1990 65 S63-S7.
13
Lévaluation
Comment
14
Évaluer la compétence professionnelleTypes
dinstruments
Performance in vivo PS. incognito, Vidéo,
Dossiers Portfolio
Performance in vitro ECOS, Ex. PS.
Épreuves à contenus cliniques QCM, Q. dév., Ex.
oral
Épreuves factuelles QCM, Ex. écrit, oral
Source Miller GE. The assessment of clinical
kills/competence/performance. Academic Medicine
(Supplement) 1990 65 S63-S7.
15
Évaluer les apprentissages
Sait comment
Fait
Démontre
Sait
Évaluation
16
Évaluer les apprentissages
Ce que nous faisons le plus !
Évaluation
17
Évaluer les apprentissages
Ce que nous devrions faire le plus !
Évaluation
18
Instruments dévaluationCurriculum de Dundee
Source DAVIS, M.H. OSCE the Dundee experience,
Medical Teacher 2003 25(3) 255-261
19
Le processus de lévaluation
Approche - relative - absolue
20
Comment interpréter les résultats ?
21
Interpréter les résultats
22
Le processus de lévaluation
Qualifier la réussite Seuil de passage
23
Établir des normes de réussite Setting
Performance Standards
Niveau acceptable
C o m p é t e n c e s
24
Déterminer la note de passage
25
Déterminer la note de passage( selon la méthode
de Ebel )
Nombre de questions 72 SAP 61
26
Déterminer la note de passage( selon la méthode
Hofstee )
27
Lévaluation
Validée
28
Validité
Repères pour apprécier les instruments dévaluatio
n
Fidélité
Faisabilité
Efficacité
Acceptabilité
van der Vleuten, CPM, The assessment of
professional competence developments, research
and practical implications.Adv health Sci Educ
1996141-67.
29
Quels sont les défauts de nos examens ? Réponses
des étudiants

• Pertinence
• Pertinence
• Pertinence
• Pertinence

• par rapport à la matière enseignée
• du type de compétences mesurées
• de la formulation des questions
• de la notation

30
Quels sont les critères pour apprécier nos
examens ? Réponses des docimologues
Validité
Fidélité
Commodité
31
Améliorer nos pratique en évaluation ? Quelques
pistes de solution

• Mieux planifier lévaluation
• Varier les instruments de mesure
• Respecter certaines règles docimologiques
• Fixer des critères de performance

32
Mieux planifier lévaluation
? ? ?
33
Domaines de comportements observables(pour
mesurer des objectifs dapprentissage)

• Cognitif
• Savoir
• Connaissances

Affectif Savoir être Attitudes
Psychomoteur Savoir faire Habiletés
34
Taxonomie simplifiée(pour mesurer des objectifs
dapprentissage)

• Connaissance
• Mémoriser

Compréhension Interpréter
Application Solutionner
35
Tableau de spécification
Source jean-louis.brazier_at_umontreal.ca
36
(No Transcript)
37
Knowledge Base
Référence SMITH, Stephen R. and R. Dollase,
Planning, implementing and evaluating a
competency-based curriculum, AMEE Education
Guide 14, Outcome-based Education, Center for
Medical Education University of Dundee, 1999
38
Knowledge Base
Référence SMITH, Stephen R. and R. Dollase,
Planning, implementing and evaluating a
competency-based curriculum, AMEE Education
Guide 14, Outcome-based Education, Center for
Medical Education University of Dundee, 1999
39
Exercice 1

• Préparer une ébauche de tableau de spécification
• pour une épreuve écrite dans votre discipline
• Importance relative des  chapitres 
• Niveaux taxonomiques
• Mémoriser
• Interpréter
• Solutionner

40
Faculté de médecine Bureau dévaluation Atelier
de formation pédagogique
Docimologie
1
Normes recommandées pour la rédaction de
questions de type QCM et QROC
41
Faculté de médecine Bureau dévaluation Atelier
de formation pédagogique
Docimologie
2
Lanalyse ditemsune technique
docimologiquepour valider des questions dexamen
42
Exercice 2

• Rédiger une question QCM de type A

43
Exercice 3

• Rédiger une question à réponse ouverte courte

44
www.medbev.umontreal.ca/docimo/atelier.htm
45
Merci de votre attention !
http//www.medbev.umontreal.ca/docimo/atelier.htm
serge.normand_at_umontreal.ca