Lvaluation en question

1
Lévaluation en question
2éme Journée d'Etude Universitaire sur la
Déficience Intellectuelle

• Pascal Sockeel
• UPRES PSITEC  Equipe d'Accueil EA4072

7 février 2008
2
Pour évaluer

• Définir le concept
• Observer
• Mesurer
• Construire les instruments de mesure
• Structurer les observations

3
Poser le problème

• Nous sommes au temps de la préhistoire
• Quelques hommes vivent en tribus, nomades, dans
  le centre de ce qui deviendra lEurope
• Ils ont un problème
• Il fait de plus en plus froid et les glaces
  avancent.
• Que faire ?

4
Acquérir des informations

• Il faudrait, idéalement, pouvoir parler de
  température (inventer le concept), évaluer la
  température (observer ses variations) qu'est-ce
  que cest faire froid ...
• Décrire les différences de température
• Prévoir certains changements de température
  (jour/nuit hiver/été)
• Expliquer pourquoi il fait chaud, ou froid
• Décrire les conséquences sur la vie inconfort,
  alimentation, survie

5
Evaluer les hypothèses pour prendre la bonne
décision

• On pense qu'il fera bientôt la même température
  qu'autrefois ? On attend
• On suppose qu'il fait plus chaud ailleurs ? On
  part.
• Si on chante ? On suppose que le temps va se
  réchauffer

6
Quelle précision donner à lévaluation de la
situation ?

• J'ai froid!
• L'eau n'est plus assez mouillée...
• Il fait plus froid ici qu'à GrandeCollineLàBas

• Il fait - 30
• Il fait - 30 Celsius!

La qualité de la décision dépendra de la qualité
de la mesure... Il faudrait peut-être inventer un
instrument de mesure le thermomètre !
7
Définir le concept
8
Quest-ce quévaluer ?

• Observer pour attribuer une qualité (attribuer
  une étiquette, une valeur, une note)
• Enoncer un jugement.
• Interpréter
• Prendre une décision

évaluer cest formuler un jugement de valeur sur
une réalité sur laquelle les exigences de
laction ont conduit à sinterroger.
9
Observer
10
Une première étape lobservation

• Dans notre vie de tous les jours, on collecte et
  on utilise des informations pour comprendre les
  phénomènes qui nous entourent.
• Cest également le cas pour les données dordre
  psychologique qui nous aident à comprendre notre
  propre comportement ou celui des autres
• La psychologie du sens commun (Heider, 1958)

11
Lobservation sans précaution est biaisée

• Les sources dinformations (données) sont
  biaisées
• Limitation de léchantillonnage
• Limitation de la durée dobservation
• Lobservateur a des attentes
• La crédibilité des sources et effet de générosité
• Les systèmes dinférence et de raisonnement sont
  biaisés
• Généralisations abusives
• Mauvaise estimation des probabilités
• Confiance mal placée dans nos capacités à
  expliquer de manière objective les événements

12
LObservation (synthése)

•  Je suis objectif en psychologie, lorsque je
  suis conscient de ma propre subjectivité  (Jean
  Piaget)

• Tes yeux voient tes pieds mais savent-ils
  seulement où est ta tête ? (auteur inconnu)

13
Mesurer
14
Mesurer définitions

• la mesure un ensemble de méthodes utilisées
  pour donner une description quantitative d'une
  caractéristique spécifiée (particulière) d'un
  phénomène.
• Mesurer consiste à représenter des propriétés
  (numériques) de la réalité par des nombres

15
Echelles de mesure

• Quatre échelles de mesures, qui déterminent les
  propriétés numériques des mesures effectuées
• ECHELLE NOMINALE si la seule opération possible
  est la détermination de légalité entre des
  objets empiriques
• ECHELLE ORDINALE si à cette propriété sajoute
  la possibilité de déterminer un ordre sur les
  objets
• ECHELLE dINTERVALLE si de plus il est possible
  de comparer les différences entre les objets
• ECHELLE de RAPPORT si les rapports entre les
  objets peuvent être comparés
• A chaque niveau de mesure, toutes les opérations
  mathématiques ne sont pas possibles  il existe
  des opérations permises ou admissibles et
  dautres pas.

16
Mesure des grandeurs physiques le poids
75.02
18.23
La précision de la mesure est limitée par la
précision de linstrument de mesure
18.23
18.23
18.23
18.23
La répétition de la mesure ne donne lieu à aucune
variation
17
Evaluation scolaire Docimologie

• Terme proposé par Henri Pieron dans les années
  1930 pour désigner la science dont lobjet est
  létude systématique des examens (en particulier
  des systèmes de notation)

• et du comportement des évaluateurs et des
  examinés

18
Une expérience de double correction
Nous savons que les correcteurs ne mettent que
très rarement les mêmes notes. Mais, à défaut,
on peut faire lhypothèse quils ont les mêmes
systèmes de valeurs et les mêmes attentes à
légard du travail à fournir. En conséquence,
une bonne copie chez lun est vraisemblablement
bonne chez lautre. Le rang de chaque élève ne
doit pas fondamentalement changer dun correcteur
à lautre.

• Etude de Laugier Weinberg (1927) 
• Analyse des résultats dune double correction
  pour un lot de 166 copies dHistoire-Géographie
  lors dun concours de lEcole Normale Supérieur
  (ENS-L).
• Les examinateurs disons A et B travaillent
  séparément. Il sagit de deux professeurs ayant
  une longue expérience professionnelle, très
  méticuleux dans la correction des copies.
• Les résultats  une corrélation de .827, ce qui
  est assez élevé (et rare) mais A et B ont
  lhabitude de travailler ensemble et se sont
  adaptés lun à lautre.

19
Etude de Laugier Weinberg
20
Modèle de cotation dune copie (fragment)
Noizet Caverni (1978)

•  la science des examens révèle en premier lieu
  que lexamen nest pas une science  Hadji (1996)

21
Mesure des grandeurs psychologiques (1)
Machine à mesurer lanxiété de Véronique
108.22
125.40
122.23
120.97
157.18
Anxiété
Existence dune variabilité intra individuelle
22
Mesure des grandeurs psychologiques (2)
Machine à mesurer lanxiété
83.22
175.40
90.30
100.97
127.18
Anxiété
Existence dune variabilité inter individuelle
23
Représentation des individus de notre échantillon
Occurence
Score de Véronique
QI
Valeur de lanxiété
24
Instabilité de la mesure

• Il est nécessaire de tenir compte de
  linstabilité de la mesure en Psychologie
• Cette instabilité provient des instruments de
  mesure, de facteurs spécifiques aux individus
  mais extérieurs à la dimension mesurée (âge,
  niveau socio-culturel, secteur dactivité )
• Cette instabilité provient de la réactivité du
  sujet à légard du milieu au moment de la mesure,
  à légard de linstrument lui-même

25
Modèle du score vrai
Un modèle psychométrique général
26
Construire des instruments
27
Stratégies pour minimiser les erreurs de mesure

• Se trouvent réunies dans une catégorie
  dinstruments les échelles et questionnaires
  dévaluation psychologique, les tests mentaux

• Standardisation
• Sensibilité
• Fiabilités
• Validités

28
Standardisation

• Standardisation de la passation
• Standardisation de la cotation ? fiabilité
  inter-correcteurs
• Standardisation des grilles de cotation et de
  lecture des performances ? étalonnages

29
Sensibilité

• Les variations inter individuelles sont une
  mesure approximative de la sensibilité plus la
  variance des scores est élevée, meilleure est la
  sensibilité.
• Dans une situation de mesure avec erreurs, ce qui
  est toujours le cas, cette approximation nest
  vraie que si la part prise par lerreur dans la
  variance du score est faible.

30
La fiabilité

• On appelle fidélité ou fiabilité la part de la
  variance vraie dans la variance du score mesuré

31
Fiabilité Test- Retest
Temps 1 Temps 2
Temps 1 Temps 2

• Une corrélation élevée dénote une bonne fiabilité
  puisque le score vrai a peu de raison de changer
  dune répétition à lautre dune même mesure.

32
Plusieurs mesures de la fiabilité

• Stabilité dans le temps ?Fiabilité test-retest
• Equivalence ? deux instruments mesurent-ils la
  même aptitude ?
• Cohérence interne ? les items convergent-ils vers
  le même construit

33
Les validités (1)

• La validité est le degré dadéquation entre ce
  que lon déclare faire (évaluer telle ou telle
  dimension) et ce que lon fait réellement, entre
  ce que loutil mesure et ce quil prétend mesurer
  (LAVEAULT GRÉGOIRE, 2002).

La pertinence linstrument est-il approprié ?
Linstrument a-t-il répondu à nos attentes ?
34
Les validités (2)

• Validité de surface
• Validité de contenu
• Validité concourante
• Validité prédictive
• Validité structurale
• Equité

35
Structurer les observations
36
Retour sur lobservation

• Lidéal serait davoir recours à des observateurs
  experts, bien entraînés et qui de surcroît
  ignorent les hypothèses des chercheurs.
• Une alternative létablissement de grilles
  dobservation suffisamment contraignantes permet
  de recueillir des faits dobservation non
  biaisés.
• En fixant lattention de lobservateur un
  proche, un parent, un membre de léquipe
  dencadrement - sur des unités comportementales
  suffisamment fines, il est possible de recueillir
  à la fois le comportement et les circonstances de
  son apparition.
• Les unités comportementales sont comparées à des
  normes

37
Echelles comportementales
Lapathie réfère à un ensemble déléments
comportementaux, émotionnels et cognitifs tels
que la réduction des intérêts et de la
participation aux activités de la vie
quotidienne, la perte de linitiative, la
tendance à labandon des activités en cours,
lindifférence et lémoussement des affects.

• Exemple de lévaluation de lApathie dans les
  syndromes neurodégénératifs.

38
LARS version patient / clinicien
39
LARS version soignant / conjoint
Prise dinitiatives
40
Profil comportemental
41
Evaluation des comportements adaptatifs

• LAmerican Association on Mental Deficiency
  (A.A.M.D.) définit le comportement adaptatif
  comme étant
• lefficacité ou le degré par lequel un
  individu répond aux normes de maturité,
  dapprentissage, dindépendance personnelle et
  aux responsabilités attendues selon son âge et
  son groupe culturel (Grossman, 1983)
• EQCA Echelle Québécoise de Comportements
  Adaptatifs
• VABS Vineland Adaptative Behavior Scale

42
Comportements adaptatifs
43
Fin