Diapositive 1

1
Introduction à la construction dévaluations des
acquis des apprenants
Prof. Jean-Luc Gilles Service de didactique des
disciplines et intervention éducative Système
Méthodologique dAide à la Réalisation de
Tests Université de Liège - Belgique
2
Typologie des évaluations dans une structure
modulaire
3
 
 
Moment au départ dans une séquence
denseignement
Test dentrée ? ex. évaluer les prérequis
Prétest ? ex. éviter la séquence aux élèves qui
maîtrisent déjà les objectifs
Epreuve de placement ? ex. placer lélève à
lendroit qui lui convient (skipping)
4
 
 
Moment au cours de la séquence denseignement
Evaluation formative
? ex. informer lélève de son état davancement
vers la maîtrise des objectifs
? ex. diagnostiquer les difficultés et les
erreurs, et y remédier
5
 
 
Moment immédiatement après la séquence
denseignement
Post test immédiat
? ex. certifier la maîtrise des objectifs
évaluation sommative
? ex. contrôler les prérequis de la séquence
suivante si lapprentissage est cumulatif
6
 
 
Moment à court terme, à moyen et à long terme
après
Post-test différé
? ex. mesurer lefficacité de la séquence
denseignement à court, à moyen et à long terme
? ex. mobiliser ou élargir les compétences
acquises antérieurement
7
Source Tourneur et Vasamillet, 1982
8
Rapports entre les fonctions pronos-tiques,
formatives et sommatives
9
 
 
Linda Allal, 1999
Décision dadmission, dorientation, Communi-ca
tion à lintérieur du système scolaire
Décision de certification Communicationavec
lextérieur
Décision dadaptations pédagogiques Communicatio
nau sein de la classe
10
 
 
Linda Allal, 1999
Comparaison entre évaluation formative
et sommative
11
 
 
Linda Allal, 1999
Implication active de lélève dans les processus
dapprentissage
12
Problèmes de fiabilité intra et inter-correcteurs
13
 
 
14
(No Transcript)
15
(No Transcript)
16
Limpression davoir déjà vécu ce genre de
situation ?
17
Biais dus aux interactions professeur ? élèves
? Effet de halo
18
Biais dus aux interactions professeur ? élèves
? Effet de halo
Weiss (1969)
Deux groupes de 46 correcteurs
19
Biais dus aux interactions professeur ? élèves
? Effet de halo
Weiss (1969)
20
Biais dus aux interactions professeur ? élèves
Et chez mes collègues, quelles sont vos cotes ?
? Effet de stéréotypie
Tendance à attribuer à un élève les notes que
celui-ci a acquises antérieurement
21
Biais dus aux séries de copies
? Effet dancrage
Bonniol, 1972
Ancre légère
Ancre lourde
Deux séries de devoirs moyens dans lesquels
Bonniol introduit des ancres légères (un
devoir), lourdes (trois devoirs), basses (mauvais
devoirs) ou haute (très bons devoirs)
22
Biais dus aux séries de copies
? Effet de relativisation
Parmi toutes les copies jugées moyennes quelques
mois auparavant le correcteur distinguera des
faibles et des bonnes
23
Biais dus au seul correcteur
? Effet de sévérité
Sévérité systématiquement plus élevée ou au
contraire moins élevée chez certains correcteurs

24
Biais dus au seul correcteur
? Effet de tendance centrale
Evitement des notes extrêmes et concentration des
scores au milieu de léchelle
25
? Le mythe de la courbe de Gauss
Courbe gaussienne
26
Critères de qualité docimologique
27
Critère de validité
Les scores des apprenants doivent représenter ce
que lenseignant veut mesurer, permettre des
inférences solides (validité de construct ou
théorique), et couvrir les aspects importants
des apprentissages (validité de contenu)
28
Critère de fidélité
La note (dune épreuve corrigée) classée dans
une catégorie donnée doit lêtre de la même façon
si elle est traitée par dautres correcteurs
(concordance interjuges) ou/et à un autre
moment (consistance intrajuge)
29
Critère de sensibilité
La mesure doit être précise, refléter des
phénomènes subtils
30
Critère déquité
Tous les évalués doivent être traités de façon
juste, en principe de la même façon
(standardisation)
31
Critère de communicabilité
les informations non confidentielles relatives
au déroulement du processus doivent être
communiquées et comprises par les acteurs de
lévaluation
32
Typologie de techniques de questionnement
33
Leclercq, 1986
Questionnement
lt Ouvert
Fermé gt
34
Blais al., 1997
Contingences qui orientent les enseignants vers
le choix de questions fermées ou ouvertes (ens.
sup.)
35
Principaux avantages potentiels et inconvénients
des questions fermées
?
?
- Automatisation ? ? questions ? ? validité - ?
problèmes de concor-dances intra et
inter-correcteurs ? ? fidélité - Automatisation ?
? praticabilité -
- Piège des questions portant sur des
détails - Conception binaire des réponses (sauf
si utilisation DC) - Impuissance à mesurer
certaines catégories de performances
36
Principaux avantages potentiels et inconvénients
des questions ouvertes
?
?
- Permettent lévaluation de performances
complexes - Permettent dévaluer les objectifs
dexpression - Sollicitations plus proches de
celles de la vie quotidienne
- En général peu de questions pour éviter
daugmenter le temps de correction - Biais ?
concordance intra et inter-correcteurs - Ne sont
pas socialement neutres (Passeron, 1970)
37
La technique des degrés de certitude (DC)
38
La technique des Solutions Générales Implicites
(SGI)
6 ou REJET Aucune des solutions proposées n'est
correcte.
7 ou TOUTES TOUTES les solutions proposées sont
correctes.
8 ou MANQUE Il est impossible de répondre parce
que de l'information (au moins une donnée) MANQUE
dans l'énoncé de la question (donc pas dans le
cours ni dans la connaissance actuelle sur le
problème).
9 ou ABSURDITE Une ABSURDITE dans l'énoncé rend
toute la question sans objet (par exemple
CONTRE-VERITE dans l'énoncé).
39
Kaléidoscope des techniques de questionnement
40
(No Transcript)
41
Dans le kaléidoscope ci-après, les objectifs
sont placés dans la toute première facette et
constituent en fait la source lumineuse (qui,
placée à travers le prisme de lobservation,
donnera des mesures).
42
Kaléidoscope des techniques de
questionnement
Source Leclercq et Gilles, 1995
43
Etapes de construction dune évaluation
standar-disée des acquis des apprenants
44
Gilles al. (2004, 2005)
45
1. Analyse des objectifs enseignés
- Lister les points à évaluer (PE) - Associer des
priorités liées aux PE - Définir les catégories
de performances (CP) attendues chez les élèves
Produit de cette 1ère étape une table de
spécification où les PE sont croisés avec les CP
(PE x CP)
46
1. Analyse des objectifs enseignés
47
2. Mise en forme de lévaluation (design)
- Quels types de questionnements vais-je
privilégier ?
V / F ?
Avec SGI ?
portant sur des cas ?
QROC ?
Avec DC ?
QCM ?

48
2. Mise en forme de lévaluation (design)
- Définition des modalités de questionnement (MQ)
en rapport avec les catégories de performances
(CP) de létape 1
49
2. Mise en forme de lévaluation (design)
- Introduction des modalités de questionnement
(MQ) dans la table de spécification
50
2. Mise en forme de lévaluation (design)
- Sélection des PE qui feront lobjet de
questions lors de lévaluation
51
3. Création des questions
PE Diversifier CP Analyse
52
Student Assessment and Program Evaluation Branch,
Ministère de léducation, Colombie Britannique,
2002
53
4. Entraînement
5. Test
http//www.smart.ulg.ac.be/evaletu/evaletu_menu.ph
p3
54
6. Correction
55
6. Correction
56
7. Feedbacks
Diagnostiques
Individualisés
Rapides
Précis
57
8. Macro-régulation
Analyse des résultats et recueil des avis des
élèves en vue de réguler le système dévaluation
et den améliorer la qualité
58
Quelques (bonnes) références
59
Educational Assess-ment of Students, A. Nitko
(2001)
Evaluation continue et examens Précis de
docimologie G. De Landsheere (1992)
http//cwx.prenhall.com/bookbind/pubbooks/nitko/
60
http//cwx.prenhall.com/bookbind/pubbooks/nitko/
61
 
 
La conception des questions à choix multiple D.
Leclercq (1986)
Vers une pratique de lévaluation formative L.
Allal (1991)