Utilisation de la m

1
Utilisation de la méthodeLQRT - SAFE(Lecture /
Questions - Réponses / Test  Système Adulte de
Formation et dÉvaluation) en médecine
vétérinaire.

• Jean-Loup Castaigne.

Service dObstétrique et Pathologie de la
Reproduction des ruminants, équidés et
porcs,Faculté de Médecine Vétérinaire,
Université de Liège, Prof. C. Hanzen
2
Déroulement dun LQRT1

• Lecture
• Questions - Réponses
• Test
• Outils dévaluation
• Pré-test entraînement, conception
• Post-test feed-backs, indices de qualité et
  métacognitifs

1LQRT-SAFE ou TASTE approach Leclercq, 1971,
93, 98
3
Pourquoi le LQRT ?

• Sondage auprès des étudiants
• Système dévaluation complémentaire de lexamen
  oral de fin dannée
• Demande du professeur
• Augmenter la participation au cours
• Forcer les étudiants à étudier pendant lannée
• Médiation pédagogique
• Centrer et responsabiliser létudiant
• Mise en place dune stratégie dévaluation
• Travail en compréhension durant lannée
• Synthèse et connaissances en fin dannée

4
Public des LQRT

• 200 étudiants en 5e année de médecine vétérinaire
  (formation de 6 ans)
• Première année concernant les pathologies
  spécifiques aux différentes espèces
• 5 séances de 3 heures sur 55 heures de cours
  (27)
• Sélection des chapitres
• les plus importants aux yeux du professeur
• qui posent le plus de problèmes à loral
• où la compréhension prime sur la connaissance

5
Déroulement dun LQRT
Lecture

• Côté étudiant
• Formation centrée sur létudiant
• Préparation du cours par une lecture en
  compréhension
• Côté professeur
• notes de cours, ouvrages de référence,
• définition des points denseignement
• en terme de matière à préparer
• en terme dimportance relative
• en terme de performances cognitives attendues

6
Points denseignement
Lecture

• Points denseignement dun chapitre des notes de
  cours du du professeur Hanzen
• 100 chapitre ou paragraphe essentiel.
• 75 chapitre ou paragraphe important.
• 50 les principaux points du chapitre ou
  paragraphe.
• 25 les mots clés du chapitre ou paragraphe.

7
Déroulement dun LQRT
Question-Réponse en amphithéâtre

• Côté étudiant
• oriente le contenu du cours par ses questions
• focalise la formation sur les points lui posant
  problème
• prend conscience de mauvaise compréhension par
  les questions des autres étudiants
• Côté professeur
• libéré du devoir de couvrir toutes la matière
• développe sa réponse en fonction de limportance
  du point denseignement concerné par la question
  et archivage épisodique

8
Déroulement dun LQRT
Test

• Remarques générales
• Outils utilisés
• Pré-test
• des étudiants
• du professeur
• Post-test
• Feed-backs immédiat et retardé
• Indices de qualité du test
• Indices métacognitifs

9
Remarques générales
Test

• Côté étudiant

• Justifications manuscrites libres et uniquement
  positives

• Caractère formatif grace aux feed-backs
• Caractère certificatif dans la stratégie
  dévaluation
• Côté professeur
• Test de compréhension
• Mesure de la qualité du transfert
• Correction précoce en cas de problème de
  compréhension

10
Évaluer la compréhension
Outils

• , lanalyse et le jugement-évaluation (Bloom,
  1969)
• Tests à Livres Ouverts
• permettent d éliminer les questions de
  connaissance (évocation ou rappel) pour favoriser
  les autres niveaux taxonomiques

• QCM Questions à Choix Multiples
• évaluation standardisée (justifications)
• facilité de correction (200 étudiants) ( oral)
• Compréhension analyse SGI
• Jugement DC

11
Les S.G.I.
Outils

• Les Solutions Générales Implicitesen plus des
  solutions habituellement proposées, quatre
  possibilités

• Rejet aucune solution proposée nest correcte,
  
• Toutes toutes sont correctes,
• Manque il manque des données dans lénoncé
  pour que lon puisse choisir UNE solution comme
  correcte (Rimbaud),
• Absurdité il y a une contre-vérité dans
  lénoncé à dénoncer en priorité ! (Napoléon
  Jules C.)

• évaluer des niveaux taxonomiques plus élevés que
  la connaissance
• éviter lidentification de la réponse correcte
  (recognition) par hasard
• détecter les incohérences, les lacunes, les
  contradictions sans être mis sur la voie,
• stimuler la vigilance factuelle (Aller
  spontanément au-delà du donné, accéder à
  limplicite),
• combattre le curriculum caché (Ce que personne
  nenseigne, mais que tout le monde apprend)
• habituer aux situations où plusieurs solutions
  sont correctes

12
Les Degrés de Certitude
Outils

• Niveau Jugement - Évaluation
• Savoir ce que l on sait,
• savoir ce que l on ne sait pas
• et savoir à quel point on sait ou pas
• Fournir à létudiant des indices métacognitifs de
  sa performance
• Fournir à lenseignant des indices de qualité
• sur son test et
• sur son enseignement

13
Entraînement sur le web
Pré-Testétudiants

• Aspécifique
• Aux degrés de certitude GUESS
• Aux SGI-DC  Cureghem  sur TIMI

• Spécifique
• QCM-SGI-DC propres à la matière

14
Conception des QCM
Pré-Testprofesseur

• Rédaction
• Test à livres ouverts
• Q de compréhension
• Utilisation des SGI manque absurde

• Validation

• Sélection en accord aux objectifs

15
Démarche
Post Test

• Sortie du test
• Feed-back immédiat réponses correctes
  commentées
• Commentaires  à chaud  des étudiants
• Lecture et traitement informatique
• Score de létudiant et indices métacognitifs
• Lecture des justifications
• Indices de qualité du test

• Feed-back retardé en amphithéâtre
• Sur le web démarche et résultats

16
Indices métacognitifs
Post Test étudiants
SOUS estimation

• le calcul dindices de réalisme deSUR et SOUS
  estimation

SUR estimation
17
Calcul dindices métacognitifs
Post Test étudiants
Brier, 1950 Adams Adams, 1961 Oskamp, 1962
Murphy 1972, 73, 74 Lichtenstein et al, 1977
Leclercq, 1983

• Réalisme ? écarts

• Tendance à être proche de la diagonale idéale (de
  0 à 1)
• Centration ? écarts
• Tendance à la sur () ou sous (-) estimation (de
  -1 à 1)
• Cohérence Taux de succès croissant en
  confidence croissante
• Acuité Tendance à diversifier son jugement

Pondéré par le nombre dutilisation de la
certitude
18
Évolution des indices
Réalisme Centration
bon
moy
Tous les étudiants
19
Indices de qualitédes tests QCM
Post Test professeur

• Subjectifs
• Commentaires des étudiants
• La fréquence des justifications
• Objectifs
• r.bis basé sur la réussite du test
• r.bis spectral basé sur le réalisme
• Conséquence
• Autres RC collectives ou individuelles
• Retrait de certaines QCM

20
Analyse spectrale
Post Test Les deux

• Graphe de distribution des RC RI par classe de
  certitude

Jans Leclercq, 1999
21
Analyse spectrale
Post Test Les deux

• Graphe de distribution des RC RI par classe de
  certitude
• Tous lesétudiantsont un tauxdexactitudede 80

22
Analyse spectrale
Post Test Les deux

• Graphe de distribution des RC RI par classe de
  certitude

23
Mesures des tests LQRT
Tous les étudiants

• Connaissances
• dangereuses
• utilisables
• inutilisables

24
Conclusions
FIN -3

• EvalEns par les étudiants
• Critiques
• Gains
• en compréhension 43 davis favorables
• en connaissance 50 davis favorables
• Taux de participation aux questions
• Utilisation des outils dauto-évaluation

25
Perspectives 2001-2002
FIN -2

• Modification des LQRT en
• augmentation de L et Q-R et
• diminution de T
• Réduction de 5 à 3 séances LQRT
• Mise à jour des notes
• Estimation de son examen oral
• Estimer sa note pour la partie QROL
• Intervention de la justesse de lestimation et du
  réalisme acquis durant lannée dans la note de la
  partie QROL

26
Perspectives 2002-2003
FIN -1

• Activités dapprentissage
• L toujours,
• parfois Q-R parfois T
• parfois T puis soit Q-R soit ex cathedra
• parfois ex cathedra (ou pas de cours si pas Q)
• Mise à jour des notes et des PE
• Évaluation
• Formative avec des outils de résolution de
  problème associé aux QCM de connaissance
• Modification du tarif des certitudes toujours
  bénéfique dêtre réaliste
• Testing en sommation et dispensatoire

27
Adresse
Jean-Loup Castaigne Tél 04 / 366 41
72 oga.fmv_at_ulg.ac.be http//www.fmv.ulg.ac.be/oga
/
OGA-B42 20, Bd de Colonster 4000 Liège
Service d Obstétrique et Pathologie de la
Reproduction des ruminants, équidés et porcs et
pathologie de la mamelle de la vache
laitière, FMV, ULg Prof. C. Hanzen
(Christian.Hanzen_at_ulg.ac.be)