Mthodologie d'analyse des protocoles individuels

1
Méthodologie d'analyse des protocoles individuels
 

• Emmanuel Sander
• Université Paris 8, ESA CNRS 7021,
• sander_at_univ-paris8.fr

2
Plan

• Erreur et simulation
• LAnalyse de Protocoles Individuels vers une
  simulation des comportements.
• Simulation du calcul numérique les erreurs dans
  la soustraction

3
Erreur et simulation
4
De lerreur à sa source

• Erreur nest pas synonyme dincohérence
• Lerreur peut être plus informative que la
  réponse exacte
• Une analyse des erreurs permet de remonter à leur
  source

5
Erreur nest pas synonyme dincohérence

• La dichotomie exact/inexact peut conduire à des
  interprétations de nature dichotomique sur les
  représentations de lapprenant
  compris/incompris, clair/confus, structuré/non
  structuré, cohérent/non cohérent
• Un autre niveau danalyse est de considérer la
  réponse, exacte ou non, comme une trace
  observable résultant de la mise en uvre dun
  ensemble dopérations mentales.
• Lexplicitation de ces opérations mentales peut
  révéler la cohérence des comportements, que la
  réponse soit celle attendue ou non.

6
Lerreur peut être plus informative que la
réponse exacte

• Que permet dinférer une performance à une tâche
  ?
• Il ny a souvent quune seule réponse exacte mais
  une multiplicité derreurs possibles
• Le biais de confirmation
• Une réponse exacte est parfois peu informative
  sur les conceptions sous-jacentes

7
Problème dentraînement Les mécaniciens dIBM
doivent sassurer que les voitures de la société
fonctionnent bien. Ce jour-là, il y a 11 voitures
et 8 mécaniciens. Les mécaniciens choisissent au
hasard sur quelle voiture ils vont travailler. Ce
choix est fait par ordre dancienneté. Quelle est
la probabilité que les 3 plus anciens
mécaniciens, Al, Bud et Carl, choisissent
respectivement les voitures du chef du conseil
dadministration, du président exécutif et du
vice-président ? Solution  1/(11x10x9)
Ross, 1987, 1989
8
Problème test 2  Les mécaniciens dIBM réparent
les voitures des commerciaux de la société. Les
commerciaux choisissent au hasard le mécanicien
qui réparera leur voiture, le meilleur commercial
choisissant en premier et ainsi de suite. Ce jour
là, il y a 14 voitures de commerciaux et 16
mécaniciens. Quelle est la probabilité que le
meilleur mécanicien répare la voiture du meilleur
vendeur et que le 2ème meilleur mécanicien répare
la voiture du 2ème meilleur vendeur ?
Problème test 1  Les mécaniciens dIBM réparent
les voitures des commerciaux de la société. Les
mécaniciens choisissent au hasard sur quelle
voiture ils vont travailler, le meilleur
mécanicien choisissant en premier et ainsi de
suite. Ce jour là, il y a 16 voitures de
commerciaux et 5 mécaniciens. Quelle est la
probabilité que le meilleur mécanicien choisisse
la voiture du meilleur vendeur et que le 2ème
meilleur mécanicien choisisse la voiture du 2ème
meilleur vendeur ?
Solution  1/(16x15)  taux de réussite de 75
Solution  1/(16x15)  taux de réussite de 37
9
Une analyse des erreurs permet de remonter à leur
source

• Les erreurs sont des traces observables de
  processus non observables
• Elles peuvent servir de données pour établir un
  diagnostic sur ces processus
• On peut identifier des conceptions susceptibles
  de les engendrer

10

• Multiplier rend plus grand
• Dans une multiplication, lun des 2 nombres doit
  être un nombre entier
• Si un gallon dessence coûte 1,22, combien coûte
  0,22 gallon (1,22/0,22 réponse la plus
  fréquente Bell, Sawn Taylor, 1981)
• Commutativité de la multiplication ? (pourquoi
  3x55x3 ?)

Multiplier, cest faire une addition répétée
11

• Un ensemble ne peut pas être vide
• Un ensemble ne peut pas contenir un seul élément
• Un ensemble regroupe des éléments qui ont des
  relations communes
• ? 34 34 ?
• 3 3 7-4 3
• 45 36  Après la fin, il devrait y avoir le
  résultat. Cest la fin et pas un autre problème.

Linchevski Vinner, 1988 Fischbein, 1989
Ginsburg, 1977 Kieran, 1981
12
Quelle est la forme de la terre ? Ronde

• E(xpérimentateur) Si tu marches droit pendant de
  nombreux jours, où arriveras-tu?
• K(risti) Jarriverai dans une autre ville
• E Daccord, et si tu continues à marcher encore
  et encore
• K ... si jétais ici et si je continue à marcher
  jusque là (lenfant montre le bord du cercle
  quelle a dessiné pour représenter la terre), je
  marcherais juste en dehors de la terre
• E Tu marcherais juste en dehors de la terre,
  nest-ce pas?... Pourrais-tu tomber du bord de la
  terre?
• K Oui, si je joue sur le bord
• E Et où tomberais-tu ?
• K ... je tomberais sur dautres planètes

Vosniadou Brewer, 1992
13
Apports de la simulation au diagnostic

• Lidentification des erreurs conduit à un
  diagnostic
• Quelle(s) validation(s) apporter à ce diagnostic
  ?

14
Lidentification des erreurs conduit à un
diagnostic

• Il sagit, selon le cadre théorique, dun
  diagnostic sur
• Les mécanismes qui ont engendré les comportements
• Les conceptions qui ont engendré les
  comportements
• La conjonction des deux.

15
Quelle(s) validation(s) apporter au diagnostic ?

• Les éléments du diagnostic peuvent constituer les
  paramètres dun modèle de simulation
• On peut alors éprouver la cohérence, la
  suffisance et le pouvoir prédictif de la théorie
• Un aboutissement idéal (jamais atteint) est de
  pouvoir simuler lensemble du comportement

16
LAnalyse de Protocoles Individuels vers une
simulation des comportements
17
Quest-ce quun protocole ?

• Ensemble de données comportementales recueillies
  dans des situations où un sujet est engagé dans
  une activité cognitive complexe
• Situations écologiques, situations de
  laboratoire, situations mixtes
• Nature non verbale, verbale ou mixte
• Structure succession de tâches / une même tâche

18
Analyse de Protocoles Individuels

• Faire une A.P.I., cest élaborer une
  interprétation dun protocole, qui idéalement
  abouti a une simulation
• Cest une analyse
• à un niveau fin, visant à mettre en évidence la
  cohérence
• dynamique la séquence est plus informative que
  la fréquence
• mettant en évidence les différences
  interindividuelles

19
Différences et complémentarité avec une approche
statistique

• Les analyses de groupe visent à évacuer le bruit/
  les analyses individuelles visent à faire émerger
  la cohérence
• Une A.P.I. sinscrit dans un cadre théorique/
  relative autonomie des méthodes statistiques
• LA.P.I. peut être vue comme une finalité
  naturelle détudes quantitatives

20
Objectifs dune A.P.I.

• Remonter de lobservation à sa source
• Un protocole est une trace de processus
• On cherche à identifier
• Buts
• Interprétations
• Connaissances

21
Buts, Interprétations, Connaissances

• Buts
• Engendrés par des règles générales
• Importés dune autre tâche
• Construits par apprentissage
• Interprétations
• Les interprétations inadéquates
• Quel problème le sujet est-il en train de
  résoudre ?
• Connaissances
• Identifier les connaissances impliquées

22
Problème missionnaires et isomorphe

• Il ne doit jamais y avoir plus de cannibales que
  de missionnaires sur une rive
• 3 M et 2 C
• 2 C et 1 M
• 2 C

• Il ne doit jamais y avoir plus de jetons noirs
  que de jeton blancs
• 3 et 2
• 2 et 1
• 2

23
Problème missionnaires et isomorphe

• Il ne doit jamais y avoir plus de cannibales que
  de missionnaires sur une rive
• 3 M et 2 C
• 2 C et 1 M
• 2 C

• Il ne doit jamais y avoir plus de jetons noirs
  que de jeton blancs
• 3 et 2
• 2 et 1
• 2

2C et 0 M valide 2 et 0 non
valide Sémantique Logico-mathématique
24
2 modèles dA.P.I.

• Modèle des contraintes
• Résoudre un problème, cest suivre une série de
  contraintes
• Apprendre, cest modifier cette liste
• Richard Poitrenaud, 1988 Richard, Poitrenaud
  Tijus, 1993
• Clément, 1994 Richard, 1999
• Modèle Objets/Propriétés
• Le codage de la situation
• Classes dobjets définies par leurs propriétés,
  dont les buts et procédures associées
• Poitrenaud, 1995, 1998 Poitrenaud, Richard
  Tijus, 1990 Tijus, 1996 Sander Richard, 1997,
  1998 Sander, 2000 Zamani, 1999

25
Modèle des contraintes

• Représentation du problème liste hiérarchisée
  de contraintes
• Contrainte restriction sur un ensemble
  dactions permises
• Matrice d1 contrainte

0 Mouvement autorisé 1 Mouvement interdit
26

• Permet dexprimer sous un même format
• Contraintes dinterprétation
• Les heuristiques
• Les buts
• Lensemble des contraintes est une contrainte
  additivité

0 0 0 0 1 1 1 1 1 1 0 1


27
Prise de décision et changement de représentation
rôle des impasses

• Prise de décision contrainte
• Si aucune action possible impasse
• Supprime les contraintes moins prioritaires
  jusquà ce quune action soit possible
• Changement de représentation
• Définit un nouvel épisode
• Indicateur de lapprentissage

28
Problème de la Tour de Hanoi

• On ne peut prendre quun disque à la fois
• On ne peut prendre que le plus haut disque dune
  pile
• On ne peut pas poser un grand disque sur un plus
  petit

A
B
C
29
Résolution chez les jeunes enfants
A
B
C
D
A
B
C
30
Simulation du calcul numérique les erreurs dans
la soustraction
31

• Dans le domaine de la résolution d'opérations
  arithmétiques, de nombreux travaux expérimentaux
  ont montré que les erreurs, loin d'être la
  conséquence hasardeuse d'un manque d'attention ou
  d'une faute de calcul, ont en fait généralement
  une forte cohérence

e.g. VanLehn, 1982, 1983, 1990
32

• Cette cohérence se traduit de 3 manières
• cohérence intra-sujet le même sujet commet
  régulièrement les mêmes erreurs lorsqu'il doit
  résoudre les mêmes opérations, y compris dans des
  intervalles de temps important
• cohérence inter-sujet les mêmes erreurs sont
  fréquemment commises pour les mêmes opérations
  par différents sujets
• Caractère prédictif étant donné les erreurs
  commises a des problèmes précédant, on peut
  prédire de manière relativement certaine les
  réponses erronées ou non a d'autres opérations.

33
Quelle est la source de cette cohérence ?

• Caractère sémantique de certaines erreurs
  résultent d'interprétations que le sujet à
  construit du problème à résoudre, en se référant
  à des connaissances familières qui lui permettent
  de donner un sens à l'opération réalisée.
• Ainsi, l'erreur est produite dans un cadre
  interprétatif. Résultat d'une analogie c'est une
  situation source, qui est constituée par des
  connaissances sur un domaine familier, qui est
  appliqué à une situation cible, situation
  nouvelle et moins connue, qui constitue le
  problème à résoudre.

34
Hypothèses

• Deux sources principales
• Soustraction Retrait Soustraire, cest enlever
  une partie dun tout.
• Soustraction Distance Soustraire, cest aller
  dun point à un autre
• Linfluence de ces sources est supposée subsister
  mais décroître avec lapprentissage de
  connaissances spécifiques au domaine.

Sander, 1997, 1998, 2001
35

• Le plus Grand- le plus petit
• Petit-grand0
• Blanc remplacé par une valeur
• 0-NN
• 0-N0

10012 - 214 10202
10012 - 214 10000
10012 - 214 22202
10012 - 214 10200
10012 - 214 10002
36
Prédictions

• Lessentiel des erreurs sont sémantiques pour
  les élèves qui découvrent la résolution de
  soustraction à colonnes
• Ces erreurs subsistent, cette fois en
  conjonctions avec dautres, même après un
  enseignement des procédures.
• Leur proportion diminue avec lapprentissage, y
  compris en proportion des erreurs non
  sémantiques.

37
Expérience 1

• Sujets 50 élèves de CE1 ayant débuté
  lapprentissage de la soustraction à colonnes
  mais nayant pas encore appris lusage de la
  retenue
• Matériel 20 soustractions à colonnes
• Procédure
• Passation collective
• Consigne Vous devez faire 20 soustractions.
  Faites les le mieux que vous pouvez. Vous avez
  tout le temps que vous voulez
• Recueil de verbalisations 5 à 12 jours après la
  passation expérimentale auprès de 14 élèves

38
Expérience 2

• Sujets 409 élèves de CE1 et CE2 (158 CE1 et 251
  CE2) ayant étudié la résolution des soustractions
  à colonnes, y compris lusage de la retenue.
• Matériel 20 soustractions à colonnes (les mêmes
  que pour lexpérience 1)
• Procédure
• Passation collective
• Consigne Vous devez faire 20 soustractions.
  Faites les le mieux que vous pouvez. Vous avez
  tout le temps que vous voulez
• Recueil de verbalisations 5 à 12 jours après la
  passation expérimentale auprès de 16 élèves

39
(No Transcript)
40
(No Transcript)
41

• Toutes les erreurs prédites sont observées,
  souvent avec une fréquence élevée (4 dentre
  elles chez plus de 50 des élèves)
• Des erreurs non prédites pour seulement 9,5 de
  léchantillon, le plus souvent de manière
  marginale

42
Sujet A18 1/20
43
Simulation de niveau 1 (sujet A18) Petit -
grand0 14/20 Simulation de niveau 2 (sujet
A18) Petit - grand0 15/20
44
Simulation de niveau 3 (sujet A18) Blanc remplacé
par une valeur 0-NN Petit - grand0 (182)/20
20/20
45
(No Transcript)