Methodologie_Validite_et_Fiabilite

1
Analyse traitement de données mesurer, tester
des hypothèses
Mise à jour du 12 janvier 2010
Rémi Bachelet

Diapos disponibles http//rb.ec-lille.fr
Cours distribué sous licence Creative Commons,
selon les conditions suivantes
bachelet_at_bigfoot.com École Centrale de
Lille Villeneuve dAscq - France
Source des images indiquées au-dessous ou en
cliquant sur limage
2
Comment utiliser ce cours

• Mettre les diapos en format plein écran en
  cliquant sur
• Faire défiler lanimation en cliquant sur les
  diapositives
• (attention cliquer sur une image ou un lien
  ouvre la page web correspondante)

3
Tester des hypothèses

• Exemple Le réchauffement climatique est-il une
  certitude ? Si oui doù vient-il ?
•  Il ny a pas de réchauffement climatique  gt
  réfuté avec de plus en plus de certitude dannée
  en année (désormais gt95)
• Autres hypothèses
• Le réchauffement climatique est lié à lactivité
  solaire gt réfuté
• Le réchauffement climatique est lié à lactivité
  humaine gt
• Cf travaux du GIEC

4
A la recherche de la vérité

• Alors, faut-il tester des hypothèses, jusquà
  faire  sortir la vérité du puits  ?
• Qui ne veut pas voir  la vérité toute nue  ?

5
Conjectures et réfutations

• On ne prouve pas quune théorie est vraie, on
  prouve que les théories concurrentes sont fausses
• La théorie  vraie  est celle qui
• Explique un phénomène le mieux possible
• permet de formuler des hypothèses réfutables
• mais pas encore réfutées
• Autrement dit, il ny a pas de théorie vraie,
  mais seulement une  meilleure théorie qui est
  
• parmi celles qui sont proposées.
• la plus  élégante  (pouvoir explicatif,
  clarté, rasoir dOccam)
• . dont on dispose à un moment donné, en
  attendant

6
Il ny a pas de vérité scientifique, mais une
population de théories en concurrence
7
Mesurer

• Comment tester une théorie ?
• Une théorie propose des construits qui permettent
  de formuler des hypothèses
• Définir rigoureusement les construits
• 1/ Concept gt 2/dimensions gt 3/composantes
• Température de la terre gt t eaut air, t du
  sol gt mesures (x, y, z, t)
• Puis mesurer des variables pour tester les
  hypothèses
• Variables métriques (sc physiques), mais aussi
  nominales, ordinales (sc humaines)
• Variables indépendantes/dépendantes

8
En sciences humaines/génie industriel, les
variables mesurées sont rarement quantitatives au
départ

• Affirmation
• Opinion, réponse sur une échelle destime de soi
• Comportement
• Rencontrer quelquun, éviter de faire quelque
  chose
• . Voire discours sur un comportement
• Par exemple  utilisation dun préservatif 
• Cf. biodata

9
Les variables métriques sont aussi de divers types

• Continues ou discrètes
• Poids, taille (métrique continu)
• Image scanner, capacité à grimper sur une échelle
  jusquà un certain barreau (métrique discret)
• On peut faire énormément de calculs, surtout avec
  les variables continues ACP

10
Les variables nominales

• Elles ne peuvent faire lobjet dun classement
  par ordre croissant par exemple
• Sexe (var. dichotomique)
• Lieu de naissance, plat préféré
• La plupart des calculs à partir de variables
  nominales sont impossibles, car il nont pas de
  sens.
• Calculer une moyenne entre des marques de
  voitures ?
• On peut parfois les convertir en variables
  métriques
• destinations de vacances gt distance (km)
• vote à une élection gt échelle droite ltgt gauche.

11
Variables Ordinales

• Elles sont ordonnées, mais pas métriques
• Réponse sur une échelle destime de soi
• par exemple une échelle du type de celles
  proposées par Rensis Likert (1903 - 1981)
•  Jai confiance en moi , cochez la case
  correspondant à votre opinion
• gt tout à fait daccord / plutôt daccord / pas
  daccord / pas daccord du tout
• Problème pour les traiter.. Faut-il les
  considérer comme ..
• des variables métriques (pas du tout 1, un
  peu 2 )
• Ou des variables nominales ?
• Effets pervers
• En numérisant un Likert (pas du tout daccord
  1, assez daccord 2..) on est tenté de faire des
  calculs moyenne écart-type ..
• Or, ces chiffres nont en fait que peu de sens,
  il impliquent notamment un postulat caché sur les
  distances entre les réponses
• passer de pas du tout daccord à assez
  daccord est-il identique à passer de assez
  daccord à plutôt daccord ?

12
Autres types de variables

• Rangs de classement
• Premier choix, réponses multiples ..
• Données dures à exploiter !
• Graphes
• Par exemple réseau relationnel / sociogramme
• Conversion du graphe en matrice et analyse
  structurale
• Variables textuelles
• Texte brut ou transcription dun entretien
• Analyse de contenu, voir ci-après
• Erreur très fréquente collecter des données et
  ne pas être capable de les exploiter ensuite !
• Savoir-faire logiciels maitrisés, éviter de
  croire que plus on utilise de mathématiques,
  meilleur cest
• Méthodologie rigoureuse et comprise par le
  client
• Temps .. et coût..(3 la durée dun entretien
  pour le taper et autant pour lanalyser).

13
Lanalyse de contenu

• Elle se fait souvent avec sa tête !
• Construire un tableau des concepts
• Faire une carte cognitive / conceptuelle
• Création dune carte conceptuelle
• Critères pour valider quune carte conceptuelle
  est bonne.
• Logiciels daide à la fabrication de cartes
  conceptuelles
• FreeMind
• Visual Understanding Environment (VUE) 
• Guide - Réaliser une carte conceptuelle

14
Une bonne synthèse méthodologique
source
15
Analyse traitement de données fiabilité et
validité
Diapos disponibles http//rb.ec-lille.fr
Source des images indiquées au-dessous ou en
cliquant sur limage
Cours distribué sous licence Creative Commons,
selon les conditions suivantes
Image Source
bachelet_at_bigfoot.com École Centrale de
Lille Villeneuve dAscq - France
16
Validité et Fiabilité

• Lorsque lon mesure une grandeur, on souhaite que
  les résultats soient utiles et reflètent bien les
  concepts quelle représente.
• À cet effet, on a deux préoccupations
• Le dispositif de recherche doit être valide
• La mesure doit être fiable

• Bibliographie / sources
• William D. Richards http//www.uwm.edu/People/hes
  sling/p325/Psy325_Chap3.pdf
• Bob Hessling http//www.sfu.ca/richards/Zen/show
  4/ch4.html
• Igalens et Roussel,  Méthodes de recherche en
  management , chap 10

17
La Validité

• Suis-je proche de la vérité ?
• Les trois exigences de validité
• Validité interne
• Validité externe
• Validité de construit / concept

18
Validité interne

• Validité interne On a bien identifié cause et
  effet
• Autrement dit, pas dexplication rivale les
  variations de la variable à expliquer sont
  causées uniquement par les variables explicatives

? ou
19
Quest-ce que la causalité ?

• Selon John Stuart Mill (1806-1873), trois
  critères permettent dinférer la causalité
• La covariation,
• Cause et effet sont corrélés
• La précédence temporelle
• La cause précède leffet
• Lélimination dexplications alternatives.
• Pas de troisième variable
• Trouvez huit biais limitant la validité interne
  et les moyens de les éviter (application à un
  questionnaire dintention dachat dune
  population dans un centre commercial...)

20
Huit biais limitant la validité interne (1/2)

• Réduire la période détude
• Examen critique de la période détude

Des évènements extérieurs à létude faussent les
résultats (Noël)
Effet dhistoire

• Réduire la période détude
• Examen critique des individus

Les individus ont changé pendant létude
(réussite/échec au bac, entre ou sort du centre
commercial)
Effet de maturation

• Ne pas questionner deux fois les mêmes individus
  (?)
• Éviter la mémorisation ?

Les réponses au deuxième questionnaire sont
affectées par le fait davoir déjà répondu
(mémoire)
Effet de test (pour une étude longitudinale/ par
panel)
Les questions utilisées pour recueillir les
données sont mal formulées (mots compliqués.)
Effet dinstrumentation

• faire valider le questionnaire par un expert
• protocole normalisé
• Méthode de la pensée à voix haute..

Campbell DT, Stanley JC (1966). Experimental and
quasi-experimental designs for research.
21
Huit biais limitant la validité interne (2/2)

• Revoir la constitution de léchantillon

Présélection des individus sur la base de
caractère extrêmes (les participants avec les
plus mauvais résultats à un test sont inclus dans
un programme de formation, ils réussissent au
prochain test peu importe le programme, parce
que les probabilités d'obtenir d'aussi mauvais
résultats deux fois sont faibles)
Effet de régression statistique

• Attention au plan de collecte !

Léchantillon nest pas représentatif de la
population pertinente (les enquêteurs sont actifs
la journée, mais plus après 20h les PCS faisant
les courses tard sont oubliées)
Effet de sélection

• Remplacer les sujets perdus
• Optimiser les moyens de garder le contact.

Des sujets disparaissent en cours détude (des
participants abandonnent létude. Ceux qui
agissent ainsi peuvent être différents de ceux
qui restent)
Effet de mortalité expérimentale (pour une étude
longitudinale/ par panel)
Un individu interrogé apprend à lavance par les
autres lobjet de létude ou les réponses
attendues
Effet de contamination

• Mener létude rapidement
• Cacher son objectif
• Prévenir la communication entre sujets

Campbell DT, Stanley JC (1966). Experimental and
quasi-experimental designs for research.
22
Validité externe

• Validité externe Les résultats sont-ils
  généralisables ?
• Autres situations pays, époques, populations .
• Un risque
•  Overfit  en recherche inductive, on
  construit une théorie à partir de données et le
  modèle construit colle tellement à ces données
  quil ne représente plus le phénomène quon
  voulait étudier au départ. mais uniquement les
  données.
• Une faible validité externe signifie que lon ne
  peut pas généraliser, mais la recherche peut tout
  de même être intéressante (on a très bien étudié
  un terrain donné).
• Toujours revenir sur la validité externe en
  conclusion dune étude ( limites et
  perspectives ).

23
Validité interne et externe sopposent-elles ?

• À votre avis ?
• Oui, souvent car
• la validité interne demande un meilleur contrôle
  des situations observées
• la validité externe demande des situations,
  méthodes et terrains de collecte plus variés et
  ouverts
• Plus on multiplie les situations, plus le
  contrôle quon peut exercer sur les biais est
  faible.

24
Validité de construit / concept

• Validité de construit on mesure bien ce que
  lon veut mesurer
• Les recherches en sciences humaines portent sur
  des concepts abstraits non toujours directement
  observables (le changement, lautonomie, les
  savoirs-être... ). Les théories étudiées reposent
  sur ces concepts, souvent polysémiques et
  difficiles à définir.
• Il faut donc valider la relation

25
Les critères de validité de concept / construit

• On compte jusquà douze moyens de lévaluer,
  retenons notamment
• La validité de contenu
• Lopérationnalisation représente le concept sous
  tous ses aspects
• La validité dobservation
• Degré auquel le concept étudié peut se réduire à
  des observations
• La validité de critère
• Degré auquel on peut affirmer que le construit
  opérationnalisé est corrélé au concept quil est
  sensé représenter.
• La validité de trait
• Degré auquel on peut affirmer que le construit
  opérationnalisé permet de mesurer le concept
  quil est sensé représenter.
• La validité convergente
• Deux mesures du concept par deux méthodes
  différentes sont efficaces.
• La validité discriminante
• Degré auquel le concept diffère dautres concepts
  proches
• La validité systémique
• Degré auquel le concept permet lintégration de
  concepts antérieurs ou de produire de nouveaux
  concepts
• Cest le type de validité le plus difficile à
  garantir

Zaltman, Pinson, and Angelmar, 1973 Metatheory
and Consumer Research
26
Évaluer la validité de construit Matrice
multitraits-multiméthodes
Campbell DT, Stanley JC (1966). Convergent and
discriminant validation by the multitrait-multimet
hod matrix.

• La matrice multitraits-multiméthodes synthétise
  la corrélation entre les mesures de différents
  traits par des méthodes différentes

Method 3 Experiment 1
Method 1 Experiment 1
Method 2 Experiment 1
Method 1 Experiment 1
Method 2 Experiment 1
Method 3 Experiment 1
Image dorigine http//www.acm.org/sigchi/chi97/p
roceedings/paper/nt-tb3.gif
27
La Fiabilité (reliability)

• La mesure est-elle régulière ?
• La question de la fiabilité de linstrument de
  mesure

28
Quest-ce que la fiabilité?

• Les opérations de la recherche peuvent être
  répétées à un autre moment par un autre chercheur
  avec le même résultat.
• Si lobjet de la recherche ne change pas, une
  mesure parfaite donne le même résultat à chaque
  fois quelle est refaite.
• Trop de variabilité (écart-type) entre mesures
  instrument pas fiable

29
Mesures de fiabilité en recherche quantitative

• Mesure lue
• vraie valeur erreur aléatoire erreur
  systématique
• Méthodes destimation de la fiabilité
• Re-retest
• Refaire exactement la même mesure à des moments
  différents.
• Méthodes des formes alternatives
• Re-retest avec un test différent (alternatif)
  mais mesurant la même chose.
• Mesure de la cohérence interne
• Pour une échelle construite à partir de plusieurs
  items, tester leur cohérence. Alpha de Cronbach,
  rho de Joreskog

30
Validité et Fiabilité sont ils réservés à la
recherche quantitative ?

• Non !
• Mais on ne procède pas de la même manière deux
  ces deux cas
• Quanti gt tests statistiques
• Quali gt prendre certaines précautions, par
  exemple vérifier si on conserve le même résultat
  en changeant dobservateur
• Problèmes possibles pour le qualitatif
• Critères observés ambigus
• Mal former les observateurs/enquêteurs problème
  dharmonisation ses données collectées
• Situation trop dure à étudier

31
Questions ?
32
Rémi BACHELET

•  Enseignant-chercheur,    Ecole Centrale de
  Lille
• Mon CV est disponible ici.

Mes principaux cours à Centrale Gestion de
projet, sociologie des organisations, recueil,
analyse et traitement de données, prévention du
plagiat, module de marchés financiers, cours de
qualité et méthodes de résolution de problèmes,
établir des cartes conceptuelles, utiliser
Wikipédia et CentraleWiki, formation au coaching
pédagogique et à l'encadrement
33
Pour mémoriser ce cours, voici une carte
conceptuelle, vous trouverez ici dautres cartes
heuristiques sur ce cours
34
Autres cours

• Explorer ou vérifier ? Deux catégories
  dapproches
• Éventails des démarches de recueil de données
• Conception de questionnaires
• Techniques dentretien et reformulation
• L'Analyse Factorielle des Correspondances pour
  les nuls
• Validité et Fiabilité des données

35
(No Transcript)