Diapositive 1

1
Activité CDS 7 Construire et gérer des examens
standardisés de qualité témoignages et
réflexions Mardi 30 janvier 2007
Enjeux et facteurs-clés d'une approche qualité en
évaluation standardisée focus sur le modèle de
Construction et de Gestion de la Qualité des
Tests Standardisés (CGQTS) Jean-Luc
GILLES Université de Liège Système
Méthodologique dAide à la Réalisation de Tests
(SMART) Service de Didactique générale et
intervention éducative Spin off Assess-Group S.A.
2
 Il est frappant de constater que dans la
plupart des universités, les enseignants parlent
volontiers de leurs recherches, peu de leurs
enseignements et quasiment jamais de leurs
examens 
Jean-Louis Ricci (2006)
3
Blais al. (1997)
Rege Colet et Romainville, Eds. (2006)
Debry al. (1999)
4
Le besoin des examens universitaires de qualité
Fréquences des modalités de questionnement
utilisées dans les examens universitaires
(enquête du GRIPU à lUniv. de Montréal)
Autres
QCM
Vrai ou faux
Démonstration
Réponse courte
Solution de problème
Phrase ou tableau à compléter
Développement court (moins d'une 1/2 page)
Développement long (plus d'une 1/2 page)
(Blais al. 1997)
5
Le besoin des examens universitaires de qualité
Fréquences des modalités de questionnement
utilisées dans les examens universitaires
Enquête à la FAPSE-ULg (DEBRY al, 1999)
1er cycle FAPSE-ULg (1997-1998)
6
Le besoin des examens universitaires de qualité
Principaux avantages potentiels et inconvénients
des questions fermées
?
?
- Automatisation ? ? questions ? ? validité - ?
problèmes de concor-dances intra et
inter-correcteurs ? ? fidélité - Automatisation ?
? praticabilité -
- Piège des questions portant sur des
détails - Conception binaire des réponses (sauf
si utilisation DC) - Impuissance à mesurer
certaines catégories de performances
7
Le besoin des examens universitaires de qualité
Principaux avantages potentiels et inconvénients
des questions ouvertes
?
?
- Permettent lévaluation de performances
complexes - Permettent dévaluer les objectifs
dexpression - Sollicitations plus proches de
celles de la vie quotidienne
- En général peu de questions pour éviter
daugmenter le temps de correction - Biais ?
concordance intra et inter-correcteurs - Ne sont
pas socialement neutres
8
Le besoin des examens universitaires de qualité
Fréquences des modalités de questionnement
utilisées dans les examens universitaires
9
Quatre facteurs clés pour une approche qualité en
docimologie
Besoins des acteursdes évalu-ations
(Gilles, 2002 Gilles, Piette, Detroz,
Tinnirello, Pirson, Dabo et Lê, 2005)
10
Le besoin des examens universitaires de qualité
Quels avantages des examens standardisés de
qualité peuvent-ils offrir ?
11
Le besoin des examens universitaires de qualité
Quels avantages des examens standardisés de
qualité peuvent-ils offrir ?
12
(No Transcript)
13
(No Transcript)
14
Assess- Group S.A.
Système Méthodologique dAide à la Réalisation
de Tests (ULg)
RD en ingénierie docimologique
electronic Construction Quality Control in
Standardized Testing
(Gilles, 2002 Gilles al., 2005)
15
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
1. Analyse préalable de lépreuve
- Lister les points à évaluer (PE) - Associer des
priorités liées aux PE - Définir les catégories
de performances (CP)
Produit de cette 1ère étape une table de
spécifications où les PE sont croisés avec les
CP (PE x CP)
16
(No Transcript)
17
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
2. Design de lexamen standardisé

• Définir les modalités de questionnement (MQ) en
  rapport avec les cat. de performances (CP)
• Créer le test et déterminer la portion de la
  table de spécification quil est sensé couvrir

Produit de cette 2ème étape une table de
spécifications où les trinômes (PE x CP x MQ) du
test sont identifiés
18
(No Transcript)
19
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
3. Création des questions

• Alimenter la banque de question
• Valider les questions qui pourraient être
  utilisées pour lexamen

Produit de cette 3ème étape une banque de
questions caractérisées par leurs trinômes (PE x
CP x MQ)
20
(No Transcript)
21
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
4. Information des évalués

• Expliquer les procédures dévaluation et les
  conditions de lexamen
• Proposer des entraînements

Produit de cette 4ème étape des informations
en ligne ainsi que des tests dentraînement
22
(No Transcript)
23
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
5. Questionnaire de lexamen

• Sélectionner les questions validées qui seront
  proposées lors de lépreuve
• Créer le questionnaire dexamen

Produit de cette 5ème étape un questionnaire
dexamen  papier crayon  ou électronique
24
(No Transcript)
25
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
6. Acquisition, correction et contrôle
qualité des résultats

• Importer et traiter les résultats de lépreuve
• Contrôler la qualité des questions
• Etablir une version finale

Produit de cette 6ème étape une version
fiable des résultats des évalués
26
(No Transcript)
27
(No Transcript)
28
Version 1 moyenne des moyennes 9,8 Version
2 moyenne des moyennes 10,7
(Crahay, Gilles, Hausoul, Mainferme et
Tinnirello, 2006)
29
Au niveau du professeur évaluateur
amélioration de la qualité de ses épreuves
Pour les 34 tests rectifiés (71 rectifications au
total) comprenant deux versions
Après ces rectifications, les épreuves mesurent
mieux ce quelles étaient sensées mesurer (?
validité)
(Crahay, Gilles, Hausoul, Mainferme et
Tinnirello, 2006)
30
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
7. Feedbacks aux étudiants

• Sélectionner les caractéristiques des feedbacks
  aux étudiants
• Autoriser la mise en ligne des feedbacks

Produit de cette 7ème étape des feedbacks
individualisés, précis et diagnostiquespour
chaque évalué
31
ULg
hors ULg
(Gilles, 2004)
32
Le cycle de Construction et de Gestion Qualité
des Tests Standardisés (CGQTS) (Gilles,
2002)
8. Macro-régulation

• Sélectionner des critères de qualité et les
  croiser avec les produits finaux des différentes
  étapes
• Proposer des améliorations

Produit de cette 8ème étape Une série de
pistes damélioration de la qualité pour le
prochain examen
33
Comparaison des moyennes des avis des étudiants à
propos des examens
dans le 1er cycle de la FAPSE-ULg (de 1997 à
2000)
6
1ère candidature 1997-1998 (n227)
2ème candidature 1997-1998 (n163)
1ère candidature 1998-1999 (n150)
5
1ère candidature 1999-2000 (n250)
2ème candidature 1999-2000 (n134)
4
Moyennes des avis
3
2
1
3.3 Après l'examen, l'étudiant peut obtenir des
explications sur la qualité de ses réponses au...
1.3 Les questions étaient claires
1.5 Le mode d'évaluation permet au prof.
d'avoir une bonne représentation des...
3.1 Les réponses correctes sont communiquées
aux étudiants après l'examen
1.1 Le mode d'évaluation était adéquat
1.4 Questions bien adaptées à la matière
3.2 L'analyse statistique de la qualité des
questions (r.bis) est communiquée
2.4 L'horaire fixé pour l'examen est respecté
1.6 L'évaluation est équitable et impartiale
2.3 L'enseignant met l'étudiant à l'aise à
l'examen oral
1.2 L'entraînement avant l'examen était
suffisant
2.2 Les exigences de l'enseignant sont
présentées en temps utiles
2.1 Les exigences de l'enseignant sont
clairement présentées
(Gilles, 2002)
34
(Approche qualité en évaluation - Gilles, 2002)
35
Assess- Group S.A.
Système Méthodologique dAide à la Réalisation
de Tests (ULg)
Solutions matérielles
Une chaîne complète de lecture optique de marques
Un système de boîtiers de votes électroniques qui
permettent danimer des séances de cours
interactives et de fournir des feedbacks en
direct aux étudiants
36
Assess- Group S.A.
Système Méthodologique dAide à la Réalisation
de Tests (ULg)
Solutions logicielles
37
 Lévaluation des examens nest que très
rarement à lordre du jour. Dordinaire, tout
examen et sa qualité reste exclusivement du
ressort du professeur concerné 
Ricci (2006)
38
Liens utiles
Sites web Système Méthodologique dAide à
la Réalisation de Tests (SMART
ULg) www.smart.ulg.ac.be Spin off
Assess-Group S.A. testing standardisé et
soutien logistique aux enseignants www.assess-gro
up.be Plateforme e-CQCST hosting pour les
enseignants http//e-cqcst.assess-group.be/
Did_at_campus du Service de didactique générale et
intervention éducative (ULg) www.sdg-ulg.net/dida
campus/ Articles en ligne
Electronic Construction and Quality Control in
Standardized Testing the e-CQCST project
(Gilles, J.-L., Piette, S.-A., Detroz, P.,
Tinnirello, S., Pirson, M., Dabo, M., Lê, H.,
2005) http//www.jlgilles.ne
t/articles/e-cqcst-earli-2005.pdf Utilisation du
cycle SMART de gestion qualité des évaluations
standardisées dans le contexte dune Haute Ecole
regard critique en terme de validité, fidélité,
sensibilité des mesures, diagnosticité,
praticabilité, équité, communicabilité et
authenticité (Gilles, J.-L. et Lovinfosse, V.,
2004) http//www.jlgilles.ne
t/articles/Gilles_Lovinfosse_amse_2004.pdf De la
recherche à la consultance  le choix stratégique
dun transfert dactivité opéré par léquipe du
Système Métho-dologique dAide à la Réalisation
de Tests (SMART) de lUniversité de Liège.
(Gilles, J.-L., Detroz, P., Tinnirello, S.,
2006) http//www.hec.ulg.ac.be/FR/lenti
c/pdf/Com_Gilles_Detroz_Tinnirello.pdf Observatio
ns sur les études universitaires à la FAPSE-ULg.
(Debry, M. al., 1999)
http//www.jlgilles.net/articles/oeuf_1999.pdf
39
Merci pour votre attention, N hésitez pas à
prendre contact si vous souhaitez de plus amples
informations jl.gilles_at_ulg.ac.be