L'valuation au service de l'apprentissage

1
L'évaluation au service de l'apprentissage
Volet 5

• Louise Arsenault
• Responsable du Bureau danimation et de soutien à
  lenseignement (BASE)
• Faculté des sciences et de génie, Université
  Laval
• Consultante en évaluation pour la révision du
  programme de 1er cycle en médecine
• Faculté de médecine, Université Laval

Université de Moncton, août 2008
2
Résultats attendus

• Reconnaître limportance des objectifs
  spécifiques, de la planification du cours à
  lévaluation des apprentissages
• Utiliser les principes et concepts de base en
  mesure et évaluation pour prendre de meilleures
  décisions pédagogiques
• Reconnaître les qualités des différents
  instruments de mesure
• Construire un examen de qualité.

3
Déroulement

• Le vocabulaire de base et les objectifs
• Planifier lévaluation
• La qualités des instruments de mesure
• Construire des examens
• Mesurer des productions complexes
• Des voies de développement

4
Vocabulaire de base

• Et objectifs généraux et spécifiques

5
 To assess  évaluer

• Lorigine littéraire de cette expression
  signifielate MEltMLltL assess(us) ptp. of
  assidere (as sidere) (1)

•  To sit down beside 

Pour plus dinformation
(1) Alverno College Faculty. Student
Assessment-as-Learning at Alverno College (1994)
p.1
6
Différencier une mesure dune évaluation

• MESURE

• ÉVALUATION

8 / 10
Cest beau Cest un échec
7
Différencier lévaluation formative de
lévaluation sommative

• LÉVALUATION SOMMATIVE
• Un moment pour observer, pour sanctionner
• Perspective dun jugement

• LÉVALUATION (une pratique) FORMATIVE
• Une façon denseigner...
• Perspective dune rétroaction

8
Différencier une interprétation critériée dune
interprétation normative

• INTERPRÉTATION NORMATIVE
• Cest en fonction du groupe

• INTERPRÉTATION CRITÉRIÉE
• Cest en fonction des objectifs, des compétences,
  de la matière, etc.

9
Les objectifs dapprentissage

• Objectifs généraux
• Une direction
• Objectifs spécifiques
• Une action

10
Les objectifs généraux

• Principes généraux
• Sont en relation directe avec les buts du
  programme
• S'adressent à létudiant
• Critères de formulation
• Un verbe qui traduit de façon globale lintention
• S'adressent à létudiant

11
Taxonomie de Bloom et al (1965)

• Connaître
• Comprendre
• Appliquer
• Analyser
• Synthétiser
• Évaluer

12
Les objectifs spécifiques

• Principes généraux
• Communicables
• Mesurables
• Sont en relation directe avec les objectifs
  généraux du programme
• S'adressent à l'étudiant
• Traduisent un comportement et non une activité
  d'apprentissage

13
Les objectifs spécifiques

• 3 critères de formulation essentiels
• Verbe d'action spécifique
• Définir, résoudre, dessiner, expliquer,
  identifier, extraire, composer, rédiger,
  calculer, exposer,
• Comportement de l'étudiant
• Résultat d'une activité

14
Exemples dobjectifs

• Objectif général
• Comprendre limportance des objectifs spécifiques
  lors de l'élaboration et de l'évaluation des
  activités éducatives
• Objectifs spécifiques
• Définir, en ses propres mots, le concept de
  congruence.
• Expliquer les principes de base associés à une
  évaluation de qualité.

15
Pour chacun des énoncés suivants, indiquez s'il
se réfère à une mesure ou une évaluation.

• Des participants charmants
• Un bel examen
• Un résultat de 90
• Un excellent professeur
• Un été chaud

16
Pour chacun des énoncés suivants, indiquez s'il
se réfère à une évaluation formative ou sommative.

• Dans une classe, les étudiants sont évalués
  quotidiennement les notes sont consignées dans
  le bulletin de fin d'année. 
• Après chaque exercice, un professeur interrompt
  le déroulement de la matière lorsque c'est
  nécessaire et intervient auprès d'étudiants en
  difficulté.
• Dans un cours de sciences, à la fin de l'année,
  l'examen terminal consiste exclusivement en un
  rapport de laboratoire.

17
Pour chacun des énoncés suivants, indiquez s'il
se réfère à une interprétation critériée ou
normative.

• Pour recevoir la cote "A" à la fin d'un cours, il
  suffit d'avoir accumulé au moins 90 points sur
  100 à l'ensemble des travaux et des examens il
  se peut qu'aucun étudiant ne reçoive cette cote,
  comme il se peut que tous les étudiants la
  reçoivent.
• Dans un autre contexte, pour qu'un étudiant
  reçoive la cote "A" à la fin d'un cours, il faut
  qu'il se situe parmi les 10 meilleurs d'après
  la somme des points accumulés à l'ensemble des
  travaux et examens.

18
Vos résultats Note globale et profil
19
La planification de lévaluation

• Avant de construire lexamen

20
Élaborer un plan dévaluation

• Identifiez les objectifs spécifiques à mesurer
• Assurez-vous quil y a congruence entre les
  objectifs mesurés et les outils dévaluation
• Choisissez le bon moment

21
Tableau de spécification
22
Plan de cours

• Comment seront mesurés les objectifs spécifiques
  de votre cours?
• Par un examen
• Par un travail
• Par un exposé
• Par un rapport de laboratoire
• Etc.
• Réf. De la planification du cours à la
  planification de lévaluation

23
La qualité dans un cours

• La cohérence
• Objectifs spécifiques
• Activités denseignement / dapprentissage
• Évaluation des apprentissages

24
Les qualités essentielles de la mesure

• Validité et fidélité

25
Les deux qualités essentielles de la mesure

• VALIDITÉ (contenu)
• La plus importante
• Lensemble des questions de votre examen (votre
  situation dévaluation) représente-t-il bien vos
  objectifs spécifiques?

• FIDÉLITÉ
• Les résultats de l'examen (ou autres moyens)
  sont-ils stables?
• La note (rétroaction) de l'étudiant ou de
  l'étudiante lui ressemble

26
Comment m'assurer dune bonne validité?

• Déterminer les objectifs spécifiques que l'on
  veut mesurer
• Congruence entre l'objectif spécifique et la
  question d'examen (ou situation dévaluation)
• Questions bien construites

27
La congruence

• La congruence est la relation étroite qui doit
  exister entre une situation dévaluation et un
  objectif spécifique.
• Les 3 principaux critères
• le verbe
• les conditions
• le contenu

Des questions dexamen semblables aux exercices?
28
Une question congruente à mon objectif

• Objectifs spécifiques
• Définir, en ses propres mots, le concept de
  congruence.
• Expliquer les principes de base associés à une
  évaluation de qualité.

29
Les deux qualités essentielles de la mesure

• VALIDITÉ (contenu)
• La plus importante
• Lensemble des questions de votre examen (votre
  situation dévaluation) représente-t-il bien vos
  objectifs spécifiques?

• FIDÉLITÉ
• Les résultats de l'examen (ou autres moyens)
  sont-ils stables?
• La note (rétroaction) de l'étudiant ou de
  l'étudiante lui ressemble

30
V X E

• V "vrai" score de l'étudiante ou de l'étudiant
• X résultat de l'étudiante ou de l'étudiant
• E erreur de mesure ( ou -)e1, e2, e3, e4, e5,
  e6, e7, e8, e9, e10, ...

31
Fidélité

• Attention aux erreurs de mesure inhérentes...
• à l'instrument de mesure
• La correction, etc.
• aux conditions de passation (mêmes pour tous)
• Longueur de lexamen (la majorité doit avoir le
  temps de finir)
• La possibilité de choisir des questions
  (questions rarement équivalentes en terme de
  difficulté)
• Les examens à livre ouvert (temps de passation
  plus long)
• à l'étudiant (peu de contrôle)

32
Reconnaître la qualité dun scénario dévaluation

• Lors de sa planification et de son élaboration
• Lors de son administration
• Lors de sa correction
• Et à la fin du processus une analyse
  docimologique

33
La qualité dun scénario

• LORS DE SA PLANIFICATION ET DE SON ÉLABORATION
• Des objectifs du programme bien identifiés...
• Un plan du scénario arrêté...
• Un choix pertinent dobjectifs spécifiques
• Des rédacteurs, concepteurs sensibilisés...
• Des questions congruentes aux objectifs...
• Des questions bien rédigées...
• Vérifier la validité du scénario...
• Des décisions à prendre pendant lélaboration...

34
La qualité dun scénario

• LORS DE SON ADMINISTRATION
• Attention aux conditions dadministration dans
  lesquelles les étudiants répondent...
• Assurer les meilleures conditions et les mêmes
  pour toutes les étudiants (sommatif)

35
La qualité dun scénario

• LORS DE SA CORRECTION
• Des critères de correction bien arrêtés....
• Des critères mesurables et observables...
• Des correcteurs sensibilisés...
• Des correcteurs encadrés
• Concordance interjuge
• Concordance intrajuge
• Des décisions à prendre pendant la correction...

36
La qualité dun scénario

• ET À LA FIN DU PROCESSUS UNE ANALYSE
  DOCIMOLOGIQUE
• Estimer la fidélité du scénario...
• Estimer lerreur de mesure du scénario...
• Estimer la qualité des questions...
• Si lindice de discrimination est négatif surtout
• Des décisions à prendre après la correction...
• La longueur du scénario vs le temps disponible
• La difficulté du scénario

37
Construire des examens

• de type papier-crayon

38
Rédiger une question

• Choisir lobjectif.
• Rédiger une question qui contient toutes les
  limites et les conditions nécessaires à la
  résolution du problème. Séparer la consigne de la
  question.
• Pour vous aider à rédiger une question
• Mise en situation
• Données du problème
• Tâche de létudiant la question
• Consigne la façon de répondre
• Modalités de correction

39
Rédiger une question

• Utiliser la phrase impérative ou interrogative.
• Éviter de terminer lénoncé par des points de
  suspension
• La congruence est .?
• Quelle est la définition du concept de congruence
  dans le contexte de la mesure des apprentissages?
• Éviter les extraits textuels tirés des manuels.
• Éviter de rédiger des questions plus difficiles
  que ne le prescrit lobjectif.

40
Rédiger une question

• Présenter sur une même page toutes les questions
  se rapportant à une même mise en situation.
• Sinon, répéter la question sur une deuxième page.
• Rédiger des questions indépendantes les unes des
  autres.
• Sinon, vous pénalisez létudiant qui, pour une
  contre-performance, perd des points à plus dun
  endroit sur la grille de correction.

41
Rédiger une question

• Rédiger la question pour quelle corresponde
  parfaitement à lobjectif dont elle doit mesurer
  latteinte.

Congruence
42
Rédiger une question

• À lintérieur de la question, rédiger des
  consignes précises, claires et complètes.
• Le nombre de bonnes réponses, lendroit où les
  étudiants doivent indiquer la réponse et la façon
  de lexprimer, lendroit où lon exécute les
  calculs, les pénalités imposées pour ajout
  déléments étrangers à la réponse, etc.
• Éliminer les renseignements superflus dont la
  présence risque de compliquer inutilement la
  tâche de létudiant.

43
Rédiger une question

• Employer un vocabulaire adapté aux étudiants.
• Indiquer le nombre de points accordés à chaque
  question.
• Choisir un type de questions que les étudiants
  connaissent.
• À réponse choisie
• Choix de réponse, vrai ou faux, association
• À réponse construite
• Phrase à compléter, réponse courte, réponse
  développée

44
Question à choix de réponses

• Variations
• trouver la bonne réponse, trouver la meilleure
  réponse, trouver la seule réponse qui soit
  fausse, trouver toutes les bonnes réponses,
  trouver la réponse qui ordonne une série
  dénoncés, trouver des contre-exemples, trouver
  lélément manquant, trouver lélément étranger,
  identifier lincident critique ou lélément
  significatif, etc.

45
Question à choix de réponses

• Quelle est la séquence de verbes d'action qui
  correspond à une introduction bien structurée?
• a.      Amener, poser, diviser
• b.      Annoncer, amener, ouvrir
• c.      Choisir, recommander, identifier
• d.      Ouvrir, préciser, choisir
• e.      Poser, amener, diviser

46
Question à choix de réponses

• Quelle est l'affirmation qui est fausse?
• a.    Avant d'être discutés et analysés, les
  résultats doivent être présentés.
• b.    Il n'y a pas de nouvelle argumentation dans
  une conclusion.
• c.    Les temps les plus utilisés pour rédiger un
  rapport technique sont le présent et l'imparfait.
• d.    Le titre d'une figure doit être placé en
  dessous de la figure.
• e.    Toutes les références doivent être citées
  dans le corps du rapport.

47
Question à choix de réponses

• Rédiger de 3 à 5 réponses (leurres) qui doivent
  être consistantes et appropriées à la question (
  même longueur, même complexité et ayant le même
  attrait)
• Placer les réponses dans un certain ordre
  alphabétique, ordinal, chronologique, etc.

48
Question à choix de réponses

• Utiliser avec prudence le choix AUCUNE DE CES
  RÉPONSES ou TOUTES CES RÉPONSES SONT BONNES
• Autant que possible, placer les réponses en
  colonne plutôt que de les disposer
  horizontalement.
• Limportant, cest dêtre uniforme dans la
  présentation.

49
Question de type vrai ou faux

• Variations
• La forme bon/mauvais, plus petit/plus grand,
  fait/opinion, etc.
• La forme correction

50
Question de type vrai ou faux

• Indique si la proposition suivante est vraie ou
  fausse. Si elle est fausse, transforme la partie
  soulignée de lénoncé pour rendre la proposition
  vraie.
• V F La validité de contenu est la première
  qualité dont on doit se préoccuper lors de la
  confection dexamens.
• Correction si nécessaire __________________

51
Question de type vrai ou faux

• Présenter une seule idée importante par question.
• Présenter des énoncés manifestement vrais ou
  faux.
• Présenter des énoncés plutôt brefs que longs.

52
Question de type vrai ou faux

• Utiliser avec prudence les termes TOUS, TOUJOURS,
  JAMAIS, qui sont associés à des énoncés faux. Les
  termes PARFOIS, SOUVENT, LA PLUPART, sont
  associés à des énoncés vrais et les termes
  FRÉQUENT, NOMBREUX, UNE FOULE, PEU, sont ambigus.
• Éviter les doubles négations.

53
Question de type association

• Variations
• Lassociation simple
• Lassociation multiple associer plusieurs
  éléments
• La classification classifier des éléments selon
  des catégories

54
Voici, présentés à gauche, des CONCEPTS de base
en mesure et évaluation et, à droite, des
DÉFINITIONS. Associer, à chacun des concepts, la
bonne définition. Inscrire, en regard du nombre,
la lettre appropriée.

• CONCEPTS
• (lensemble questions)
• ___ 1. CONGRUENCE
• ___ 2. VALIDITÉ
• ___ 3. FIDÉLITÉ

• DÉFINITIONS
• (lensemble réponses)
• Lien étroit entre lobjectif et la question
  dexamen
• Qualité dun instrument qui fait référence à la
  stabilité des résultats
• Qualité dun instrument qui mesure bien ce quil
  prétend mesurer
• Ensemble des opérations pour modérer les
  résultats dun instrument

55
Question de type association

• Donner le schéma de base de lassociation,
  décrire lensemble questions ainsi que lensemble
  réponses et indiquer sil y a répétition ou non
  des éléments de lensemble réponses.
• Placer dans chaque ensemble des éléments
  homogènes.
• Ne pas compter au total plus de dix éléments dans
  lensemble réponses.

56
Question de type association

• Placer un plus grand nombre déléments dans
  lensemble réponses.
• Désigner lensemble questions par des nombres et
  lensemble réponses par des lettres.
  Habituellement lensemble réponses est placé à
  gauche.
• Placer les éléments de lensemble réponses dans
  lordre qui facilite le travail de létudiant.

57
Question de type phrase à compléter

• Variations
• Question à réponse unique, question à réponses
  multiples, phrase à compléter dont lomission est
  à lintérieur dun choix de réponses, ne rédiger
  quune partie révélatrice dune tâche le
  paragraphe dintroduction ou de conclusion, les
  phrases de transition, une suite de mots clés,
  les trois dernières lignes de programmation, etc.

58
Question de type phrase à compléter

• Le lien étroit qui doit exister entre un objectif
  spécifique et une question dexamen se nomme
  .. .

59
Question de type phrase à compléter

• Nenlever que les termes importants de la phrase.
• Ne placer quune ou deux omissions par phrase à
  compléter.
• Placer les omissions vers la fin de la phrase.
• Placer un espace ou un trait constant pour toutes
  les omissions et ce, sans égard à la longueur des
  mots omis.
• Si la réponse porte sur des quantités, indiquer
  les unités demandées.

60
Question à réponse courte

• Variations
• Question à réponse unique, question à réponses
  multiples, définir un mot clé, construire un
  schéma, donner un exemple, identifier une loi, un
  principe, rédiger une phrase, etc.
• Présenter le problème en posant une question
  plutôt quen formulant une affirmation.
• Prévoir un espace après chaque question pour que
  létudiant puisse inscrire sa réponse.

61
Question à réponse courte

• Quelle est la définition du concept de
  congruence?
• La réponse attendue sexprime en moins de 3
  lignes.
• _________________________________
• _________________________________
• _________________________________

62
Question à réponse développée

• Variations
• Résoudre un problème, extrapoler, établir des
  rapports, des liens, expliquer, synthétiser,
  analyser, évaluer, réaliser une production,
  résumer, etc.
• Structurer, encadrer suffisamment le problème
  présenté dans la question pour que la réponse
  soit orientée vers ce que lon se propose de
  mesurer.

63
Questions à corriger

• Expliquer limportance des objectifs dans la
  construction des instruments de mesure.
• Sans en discuter entre vous!
• Question 1 10 pts
• Résultats attribués par chaque correcteur

64
Expliquer limportance des objectifs dans la
construction des instruments de mesure.

• Réponse étudiant 1
• Objectifs spécifiques
• Congruence
• Questions dexamen
• La qualité dun examen repose sur le lien étroit
  qui doit exister entre les objectifs spécifiques
  et les questions.

. / 10 pts
65
Expliquer limportance des objectifs dans la
construction des instruments de mesure.

• Réponse étudiant 2
• Les objectifs sont vraiment importants dans la
  construction des instruments de mesure. Les
  objectifs généraux doivent être mesurés par les
  questions dexamen. Rien dautre ne doit être
  mesuré sinon on fait de lerreur de mesure et ce
  nest pas juste pour létudiant. Des auteurs
  comme Bloom, Mager et De Landsheere lont dit.
  Les taxonomies sont importantes pour bien
  comprendre les objectifs. Il faut que les
  objectifs soient clairs si on veut faire des
  questions claires. La validité de contenu et la
  fidélité sont les qualités essentielles pour les
  instruments de mesure.

. / 10 pts
66
Question à réponse développée

• En un maximum de 300 mots, expliquer limportance
  des objectifs dans la construction des
  instruments de mesure.
• À lintérieur de votre réponse, on doit retrouver
  trois avantages dune telle pratique ainsi quun
  exemple.

67
Question à réponse développée

• Si vous le jugez à propos, avertir létudiant
  quil sera pénalisé sil introduit dans sa
  réponse des éléments étrangers au problème à
  résoudre.
• Mieux vaut indiquer lordre de grandeur de la
  réponse souhaitée.
• Exemples En un maximum de deux pages En 300
  mots À lintérieur du tableau

68
Question à réponse développée

• Prévoir lespace nécessaire pour la réponse.
• Une mise en page structurée peut aider à corriger
  ces réponses longues.
• À titre indicateur, préciser le temps normalement
  alloué pour répondre à la question.
• Pour concevoir le corrigé, vous pouvez rédiger
  une réponse-type et souligner les mots clés.

69
Question à réponse développée

• Pour concevoir le corrigé
• Rédiger la réponse attendue
• Vous pouvez rédiger une réponse-type et souligner
  les mots clés.
• Rédiger les autres réponses acceptées
• Concevoir le traitement les réponses incomplètes
  ou partiellement erronés
• Qualitatif
• Quantitatif
• Concevoir le traitement des éléments étrangers
  aux problèmes
• Il est plus facile, juste et équitable de
  corriger la première question pour tout le groupe
  avant de corriger la deuxième.

70
Concevoir le corrigé / 10 pts
71
La correction dun examen

• La pondération des questions reflète limportance
  des objectifs mesuré
• Les critères de correction sont observable et
  mesurable
• Toutes les réponses possibles sont clairement
  indiquées

72
La correction dun examen

• Vous appliquez avec la même rigueur les critères
  de correction à lensemble des examens et ce, peu
  importe lheure à laquelle vous débutez et
  terminez votre correction et peu importe la
  position de la copie que vous corrigez, soit
  avant ou après une excellente ou une piètre copie.

73
Réduire le fardeau des corrections

• Imposer le format de la réponse pour faciliter la
  correction
• Mécaniser la feuille-réponse
• Grille de correction détaillée aux étudiants
• Grille résumée
• Lister et numéroter les principaux commentaires

74
Lévaluation au service de lapprentissage

• Pour conclure

75
Reconnaître le rôle privilégié de lenseignant et
de lenseignante

• Les enseignants et les enseignantes sont les
  intervenants les mieux placés pour évaluer les
  apprentissages complexes
• proximité, fréquence et durée des interventions,
  personnalisation

76
Rendre lévaluation hautement pédagogique

• Intégrée à lenseignement, en fonction des
  objectifs spécifiques
• Renseigne létudiant
• Responsabilise létudiant
• Améliore lapprentissage / lenseignement
• Suscite la culture de leffort, du dépassement et
  de linnovation

77
Élaborer un plan dévaluation

• Spécifier lensemble du contenu et les objectifs
  spécifiques
• Départager les objectifs et les outils
  dévaluation des méthodes denseignement
• Choisir le bon moment

78
Utiliser des moyens variés et adaptés

• MAIS CONGRUENTS
• Observation (informelle et formelle)
• Questionnement et entrevues
• Examens
• Tâches complexes (problèmes)
• Projets
• Journal de bord
• Portfolio
• Le dossier d apprentissage
• Autres...

79
Une formation de qualité

• Des objectifs spécifiques qui traduisent bien où
  vous voulez arriver
• Des formules pédagogiques (enseignement/apprentiss
  age) qui aident à atteindre les objectifs
  spécifiques
• Une évaluation qui mesure vraiment latteinte des
  objectifs spécifiques

80
AU PLAISIR!

• Le véritable enseignement n'est point de te
  parler, mais de te conduire.
• Antoine de Saint-Exupéry

81
Bibliographie

• Alverno College Faculty. (1994) Student
  Assessment-as-Learning at Alverno College.
  Alverno College Institute, Milwaukee, WI.
• Angelo T.A., Cross K.P. (1993) Classroom
  Assessment Techniques. Jossey-Bass, San
  Francisco.
• Aylwin, U. Pédagogie. Collège de Maisonneuve.
  Dans http//cafe.cmaisonneuve.qc.ca/.
• Dawoud, M. (1995) Élaboration dun examen de
  rendement scolaire. Techniques et procédures.
  Éditions Nouvelles, Ottawa.
• De Landsheere, G. (1976) Évaluation continue et
  examens. Précis de docimologie. Fernand Nathan,
  Paris.
• Morissette, D. (1993) Les examens de rendement
  scolaire. Les Presses de l'Université Laval,
  Sainte-Foy.
• Scallon, G. (2004) Lévaluation des
  apprentissages dans une approche par compétences.
  Éditions du Renouveau pédagogique inc., Québec.
• Scallon, G. (2000) Lévaluation formative.
  Éditions du Renouveau pédagogique inc., Québec.
• Scallon, G. (1988) Lévaluation formative des
  apprentissages. Tome 2 Linstrumentation. Les
  Presses de lUniversité Laval, Sainte-Foy.
• Pratiques Pédagogiques, Vol. 7, No. 2, Octobre
  1994.
• PRISME (30 September 2004) The Cheating culture,
  Jeffrey Selingo.