L

1
Faculté de médecine Bureau dévaluation Docimologi
e appliquée aux sciences de la santé
Lanalyse ditemsune technique
docimologiquepour valider des questions dexamen
Serge Normand, M.A. Docimologue
2
Analyse ditems
Ensemble de procédés statistiques dont le but est
d évaluer la qualité dun instrument de mesure
et des items qui le composent. Ensemble
dopérations qui comporte trois volets a) une
vérification de la congruence entre les items et
les objectifs, de la plausibilité des choix de
réponses (QCR) et de certains aspects de la
validité et de la fidélité b) un calcul dindices
(moyenne, écart-type, indice de difficulté et de
discrimination, etc. ) c) une décision en vue de
réviser, remplacer ou conserver les items
Source LEGENDRE, R., Dictionnaire actuel de
l éducation, Larousse, Paris, 1988
3
Les indices de lanalyse ditems

• Analyser les résultats de chaque question
• Indice de difficulté
• Indice de discrimination
• Répartition des choix de réponses ( QCR )
• Analyser les résultats de lensemble du test
• Indice de fidélité (homogénéité interne - alpha
  Cronbach )
• Caractéristiques de la distribution des notes

4
Un exemple danalyse ditems
5
Quelques avantages de lanalyse ditems

• Tirer profit des résultats dun examen
• Obtenir des indications sur la précision des
  résultats observés
•  Valider  un examen en retirant, au besoin, les
  questions qui présentent des lacunes
• Améliorer la formulation des questions
• Calibrer les examens futurs
• Créer une  banque ditems 

6
Mode demploi dAnItem

• Enregistrer les réponses aux questions dans un
  classeur Excel en respectant le format suivant
• La première rangée contient des libellés
  décrivant le contenu des colonnes et identifiant
  ainsi les questions
• La deuxième rangée contient la clé de correction
  pour les questions QCR laisser vide pour les
  questions QROC
• La troisième rangée contient, pour chaque
  question, la valeur accordée à la bonne réponse
  (QCR) ou le nombre maximum de points (QROC)
• Les rangées 4 et suivantes contiennent les
  réponses des étudiants un sujet par rangée, une
  réponse par colonne
• Les colonnes contenant les réponses doivent être
  contigües

7
Mode demploi dAnItemFormat du classeur Excel
pour la saisie des données
Identification
QCR
QROC
Rangée 1Libellés
Rangée 2Clé de correction
Rangée 3Pondération
Colonnes contigües pour les réponses aux questions

• Capacité théorique et contraintes
• 255 questions
• 65 532 sujets
• 5 choix de réponses QCR codées en lettres ( A
  à E ) ou en chiffres ( 1 à 5 )
• une seule bonne réponse possible pour les QCR

8
Mode demploi dAnItem

• Ouvrir le classeur AnItem.xls et fournir les
  informations suivantes
• Les zones  Titre et Sous Titre  contiennent les
  libellés qui seront répétés sur les pages de
  résultats
• La zone  Total sur  indique sur combien de
  points sera exprimée la note totale
• La zone  Décimale  précise le nombre de
  décimales souhaitées pour l affichage de la note
  totale
• Dérouler le menu  Item  pour lancer la
  procédure désirée Analyse d items ou Analyse
  de distribution
• Choisir le classeur Excel contenant les réponses
• Sélectionner la plage de cellules contenant les
  réponses

9
Mode demploi dAnItem
Déroulez le menu AnItem
Saisissezles informations
10
Mode demploi dAnItem
Sélectionnez Analyse ditems
11
Mode demploi dAnItem
Localisez le fichier de réponses
12
Mode demploi dAnItem
Sélectionnez les colonnes contigües de questions
13
Mode demploi dAnItem
Résultats de lanalyse ditems
14
Indice de difficulté

• Pourcentage de réussite à la question nombre de
  candidats ayant répondu correctement divisé par
  le nombre total de répondants
• Moyenne de la question
• Exprimé avec deux décimales ( ex. 0,64 )
• Souvent représenté par le symbole ( p )
• En fait cest un indice de  facilité 
• Un indice élevé la question est facile
• Un indice faible la question est difficile

15
Interprétation de lindice de difficulté

• Indices inférieurs à 0,50
• Pourquoi plus de la moitié des candidats
  échouent à cette question ?
• Indices inférieurs à 0,30
• Combien y a-t-il de questions avec des indices
  aussi faibles dans le test ?
• Est-ce  normal  que tant de candidats naient
  pas atteint lobjectif mesuré par cette question ?

16
Interprétation de lindice de difficulté

• Indices supérieurs à 0,90
• Est-ce que cette question correspond à un
  objectif important ?
• Faut-il conserver les questions réussies par
  tous les candidats ?

17
Interprétation de lindice de difficulté

• La somme des indices de difficulté correspond à
  la moyenne du test
• Le rendement scolaire se distribue
   normalement 
• Un test composé de questions de difficulté
  moyenne reproduira plus fidèlement la
  distribution  normale  des notes

18
Répartition des choix de réponses ( question
QCR )

• Distribution du nombre de candidats parmi les
  choix de réponses
• Exprimée en fréquences brutes et en pourcentages
• Les choix autres que la réponse correcte sont
  appelés des  leurres 
• Un leurre est-il choisi plus souvent que la bonne
  réponse ?
• Des leurres sont-ils complètement ignorés ?

19
Indice de discrimination

• Coefficient de corrélation entre les réponses à
  la question et le total des autres questions
• Est-ce que les candidats qui réussissent cette
  question ont aussi un score élevé à lensemble
  des autres questions ?
• Est-ce que les candidats qui échouent cette
  question ont aussi un score plus faible à
  lensemble des autres questions ?
• Exprimé avec deux décimales ( ex. 0,23 )
• Souvent représenté par le symbole ( r )

20
Interprétation de lindice de discrimination

• En théorie ce coefficient de corrélation varie
  de -1,00 à 1,00
• Une balise peut être fixée à 0,20 pour signaler
  un début de discrimination
• Une valeur voisine de zéro ( 0 ) indique quil
  ny a aucune relation entre le score à cette
  question et le total des autres questions
• Un indice négatif signale une incohérence les
  meilleurs candidats échouent la question, les
  plus faibles réussissent la question

21
Interprétation de lindice de discrimination

• Les items de difficulté moyenne (0,40 à 0,60 )
  maximisent généralement la discrimination
• Les items très faciles ou très difficiles
  discriminent habituellement peu
• Lindice de discrimination est tributaire du test
  auquel appartient la question et donc moins
  stable que lindice de difficulté
• Le nombre de questions et le nombre de sujets
  influencent le calcul du coefficient de
  corrélation

22
Mode demploi dAnItem
Analyse de distribution
23
Mode demploi dAnItem
Distribution des scores
24
Les  préoccupations  docimologiques(Source
G. Cormier)
Équilibre
25
Critères pour apprécier les qualitésdun
instrument d évaluation

• Validité
• Mesure-t-il ce qu il prétend mesurer ?
• Fidélité
• Les résultats sont-ils constants et précis ?
• Commodité - Efficience
• Temps requis ? Coût ? Résultats ?

26
ValiditéQualité dun instrument de mesurer
réellement ce quil doit mesurer selon
lutilisation que l on veut en faire

• Congruence - objectifs
• Représentativité - items

Contenu
Interne

• Structure - schéma théorique
• Définition opérationnelle - trait

Construit
Concomitante

• Corrélation - mesures similaires

Externe
Prédictive

• Corrélation - variables à prédire

27
Validité de contenu

• Chaque item est-il un exemple du type de
  performance que le test doit mesurer ?
• Collectivement, les items constituent-ils un
  échantillon représentatif de l ensemble des
  performances qui définissent la variable à
  mesurer ?

• Préparer un tableau de spécification
• Échantillonner les  trois domaines 

28
Domaines de comportements observables(pour
mesurer des objectifs d apprentissage)

• Cognitif
• Savoir
• Connaissances

Affectif Savoir être Attitudes
Psychomoteur Savoir faire Habiletés
29
Tableau de spécification
Source jean-louis.brazier_at_umontreal.ca
30
FidélitéQualité qua un instrument de mesurer
avec la même exactitude chaque fois quil est
administré à des sujets équivalents placés dans
des conditions similaires
ConstanceStabilité

• deux administrations
• corrélation

• deux formes parallèles
• corrélation

Équivalence

• interrelation entre les items
• homogénéité interne
• alpha de Cronbach

Consistance interne
31
Objectivité et Fidélité

• Qualité dun procédé ou dun instrument de mesure
  qui est relativement résistant aux biais et aux
  erreurs de correction ou dappréciation
• Lobjectivité dun instrument de mesure permet à
  un étudiant dobtenir la même note indépendamment
  du correcteur ou de lexaminateur

• Standardiser  la clé de correction 
• Les défis de lobservation directe

32
FidélitéCoefficient d homogénéité interneAlpha
de Cronbach
a
k k - 1
S s 2 j s 2 t
1 -
où k nombre ditems s 2 j
variance des scores à litem j s 2 t
variance des scores à l ensemble du test
33
Commodité - EfficienceRapport entre ce qui est
réalisé et les moyens mis en oeuvre

• Élaboration
• Administration
• Correction
• Ressources

• Temps requis
• Coût
• Résultats

34
Qualités des instruments
35
Les formulesoù X et Y scores du  sujet  n
et N ensemble des  sujets 
Moyenne Mx
S X N
Écart type sx
S X - Mx 2 N
Variance sx sx2
Score standard Zx
X - Mx sx
Corrélation rxy
S X - Mx Y - My Nsxsy
36
Les formulesoù X score du  sujet , N
ensemble des  sujets et r xx indice de
fidélité
Moyenne Mx
S X N
Écart type sx
S X - Mx 2 N
Erreur type (moyenne) s x
sx N
Niveau de confiance à 95 plus ou moins
1.96 s x
Erreur de mesure se sx 1 r xx
37
Distribution normale
68
95
38
Vocabulaire  docimologique 

• Item
• Test
• QCR
• QCM
• QROC
• ECOS

• Question
• Examen, épreuve  standardisé 
• Questions à Choix de Réponses
• Question à Choix Multiple
• Question à Réponse Ouverte Courte
• Examen Clinique Objectif Structuré

Instrument de mesure Examen, test, épreuve
39
Déroulement de l atelier

• Expliquer les composantes de lanalyse ditems
• Calculer les indices à laide du tableur Excel

• Présenter quelques concepts  docimologiques 
• Échanger sur nos pratiques en évaluation des
  apprentissages
• Partager des ressources, des pratiques ?

40
Analyse ditems - Bibliographie

• GIRARD, M. et S. NORMAND, Guide de lecture dun
  rapport danalyse ditems, Bureau dévaluation,
  Faculté de médecine, Université de Montréal, 2001
• GUILBERT, J.J., Guide pédagogique pour les
  personnels de santé, OMS, Genève, 1981
• LEGENDRE, R., Dictionnaire actuel de
  l éducation, Larousse, Paris, 1988
• MAGNUSSON, David, Test Theory, Addison-Wesley,
  London, 1967
• NORMAND, S., AnItem, Logiciel pour effectuer une
  analyse ditems via le chiffrier Excel, Version
  PC et Mac, Bureau dévaluation, Faculté de
  médecine, Université de Montréal, 2001