Deel 3

1
Deel 3

• Experimenteel en quasi-experimenteel onderzoek

Chapter 16. Experimental and Quasi-Experimental
Research
2

• Vaststellen van oorzaak-gevolg relaties door
  manipulatie van OV en effect op AV
• Meestal eerst correlationeel onderzoek dan
  experiment om oorzaak-gevolg vast te stellen

3

• OORZAAK-GEVOLG
• Goed theoretisch kader
• Passende subjecten
• Passend experimenteel onderzoeksopzet
• Correcte statistiek
• Juiste selectie en contrôle van OV
• Juiste selectie en meting van AV
• Correcte interpretatie van resultaten

4
1. Bedreigingen voor validiteit

• Interne validiteit experiment zelf valide
• Externe validiteit generaliseerbaarheid
• ?? Interne validiteit ? ?? Externe validiteit
• alles onder contrôle ? ver weg van realiteit

5

• KEUZE maken wat is belangrijkst interne of
  externe validiteit ???
• Procedure
• Eerst veel contrôle hoge interne validiteit ten
  koste van externe
• Indien effect dan meer experimenten met hogere
  externe validiteit eventueel ten koste van de
  interne validiteit

6
2. Negen bedreigingen voor interne validiteit

• Indien met deze bedreigingen geen rekening
  gehouden wordt, en ze niet gecontroleerd worden,
  is het moeilijk om veranderingen in AV toe te
  schrijven aan OV

7
2.1.History

• Iets dat zich tijdens het experiment voordoet,
  niet bedoeld was, en een bedreiging vormt voor
  interne validiteit
• Bv. Tijdens een interventie (bv. 2 soorten
  instructies) krijgt de helft van de groep ook nog
  toevallig extra lessen

8
2.2. Maturatie

• Voor onderzoek dat loopt over langere tijd
• Rijpingeffect is concurrent van
  interventie-effect
• Vooral bij kinderen en adolescenten

9
2.3. Testeffect

• Als een test 2 of meer keer wordt afgenomen
• Subjecten leren van invullen van de test alleen
• Zowel voor kennis als attitude als presteren

10
2.4. Instrument

• Na een tijd gaan instrumenten minder precies
  meten
• Observatoren gaan na een tijd anders coderen

11
2.5. Statistische regressie

• Groepen die geselecteerd zijn op basis van
  extreme scores
• Laag actief hoog actief
• Laag angst hoog angst
• zullen bij een volgende afname minder extreem
  scoren regressie naar midden

12
2.6. Selectie bias

• Groep dat meedoet aan het experiment is op
  voorhand reeds geselecteerd
• Bv. Gebruik van vrijwilligers
• Bv. Subjecten niet representatief voor de
  populatie

13
2.7. Uitval van subjecten

• Uitval van controlegroep geen actie niet meer
  meedoen
• Uitval uit experimentele groep te moeilijk, te
  lastig, te tijdsintensief, .

14
2.8. Selectie-maturatie interactie

• Indien twee groepen meedoen waarbij 1 groep
  experimentele en 1 groep controlegroep kunnen
  maturatieverschillen in beide groepen resultaten
  vertekenen

15
2.9. Verwachting

• Indien men weet wie in welke conditie zit
  effect op scoring, codering, omgang
• Self-fulfilling prophecy

16
3. Vier bedreigingen van externe
validiteit3.1. Testeffect

• Op voorhand testen van subjecten kan hen meer
  gevoelig maken voor participatie
• Zelfde programma slaat minder aan bij populatie
  die niet gepretest is

17
3.2. Interactie tussen selectie bias en
experimentele manipulatie

• Een interventie kan wel werkzaam zijn in een
  specifieke populatie (bv. Jongeren) maar niet
  werkzaam in een andere

18
3.3. Reactiviteit door experimentele manipulatie

• Subjecten gaan enkel zo reageren in experimentele
  situatie maar niet in het werkelijke leven
• Hawthorne effect gedrag van subjecten verandert
  als men er aandacht aan besteedt

19
3.4. Multiple interventies

• Als subjecten doorheen verschillende interventies
  gaan kunnen deze allen een aditioneel effect
  hebben
• Geen conclusies trekken over 1 manipulatie als er
  meerdere zijn gebeurd

20
4. Contrôle van bedreigingen van interne
validiteit

• Trachten om bedreigingen zoveel mogelijk op te
  vangen zodat de kans groter wordt dat manipulatie
  van OV werkelijk effect in AV verklaart

21
4.1. Randomisatie

• Geen verschillen tussen groepen bij het begin van
  experiment
• Is antwoord op history effecten VOOR begin van
  experiment, niet TIJDENS experiment
• Antwoord op maturatie, statistische regressie,
  selectie bias, selectie-maturatie interactie

22

• Techniek van gematchte paren eerst groepen
  testen op bepaalde karakteristiek en dan indelen
  zodat de twee groepen ongeveer gelijk zijn dit
  is GEEN GOEDE techniek verborgen variabelen !!
• Within-subjects designs subjecten zijn hun
  eigen controles beide condities doen volgorde
  counterbalanceren en random toewijzen aan volgorde

23
4.2. Placebo, blind en dubbel blind

• Placebo echt of psychologisch effect ?
• Zelfde aandacht en interactie met onderzoeker
• Blinde studie subjecten weten niet of ze
  experimentele of controleconditie zijn
• Dubbel blind noch subjecten noch tester weten
  in welke conditie subjecten zitten

24

• Deze technieken zijn een antwoord op controleren
  van
• Hawthorne-effecten,
• verwachtingseffecten,
• halo effecten of
• Avis-effect (subjecten in de controlegroep doen
  harder hun best omdat ze weten dat ze in de
  controlegroep zitten)

25
4.3. Niet gecontroleerd

• Door randomisatie en blind onderzoeken kunnen
  veel bedreigingen beantwoord worden maar
• Testeffect niet, wel door soort design (later)
• Instrument validiteit en betrouwbaarheid
  vaststellen
• Uitval van subjecten aangenaam maken, goed
  uitleggen, beloning,

26
5. Contrôle van bedreigingen van externe
validiteit

• Ook hier random selectie zeer belangrijk
• Ecologische validiteit ?
• Heeft de experimentele situatie voldoende
  kenmerken van  real life ? 
• Kan het experiment ook in veldsetting worden
  uitgevoerd ?

27
6. Soorten onderzoeksopzettenPRE-EXPERIMENTELEd
esigns

• Weinig contrôle van interne validiteit
• Geen randomisering van subjecten

28
6.1. One-shot studie

• T O
• Interventie en daarna meting naar effect
• Geen oorzaak gevolg
• Zeer zwak design

29
6.2. Eén groep Pre-test Post-test

• O1 T O2
• Zwak design
• Toch al verandering kunnen meten
• Niet zeker of alleen de interventie
  verantwoordelijk is voor het effect
• History effecten of rijping

30
6.3. Statische groep vergelijking

• T O1
• O2
• Vergelijking van twee groepen
• Groepen niet gerandomiseerd, wel bestaand
• Selectie effect en selectie-maturatie effect

31

• BESLUIT
• Deze drie pre-experimentale design laten geen
  conclusie toe over verandering in AV te wijten
  aan verandering in OV
• Meestal zuiver TIJDVERLIES

32
ECHTE EXPERIMENTELEdesigns

• Random toewijzing van de groepen
• Ervoor zorgen dat
• tijdens het experiment geen (onverwachte)
  interventie gebeurt voor 1 van beide groepen
• er geen instrument problemen zijn
• er geen differentiële uitval is (experimentele
  mortaliteit)

33
6.4. Gerandomiseerd groepdesign

• R T O1
• R O2
• Is vergelijkbaar met statische groeps-vergelijking
  maar hier wel random
• Indien andere bedreigingen van interne validiteit
  voldoende gecontroleerd worden oorzaak gevolg
  is mogleijk

34

• R T1 O1
• R T2 O2
• R O3
• Twee soorten behandelingen worden met elkaar
  vergeleken
• Via ANOVA drie observaties contrasteren

35

• R A1 B 1 O1
• R A1 B 2 O2
• R A2 B 1 O3
• R A2 B 2 O4
• R A3 B 1 O5
• R A3 B 2 O6
• 3 x 2 factorieel opzet waarbij er 2 OV zijn A met
  3 niveaus en B met 2 niveaus

36

• B
• 1 2
• 1
• 2
• 3

A1 B1 A1 B2
A2 B1 A2 B2
A3 B1 A3 B2
A
37

• Random toewijzing aan de zes cellen
• Analyses met two-way ANOVA
• Hoofdeffect van A
• Hoofdeffect van B
• Interactie-effect AB
• Kan nog verder complexer gemaakt worden

38
6.5. Pre-test Post-test gerandomiseerd
groepsdesign

• R O1 T O2
• R O3 O4
• Is er meer verandering in de experimentele groep
  in vergelijking tot de controlegroep
• Testeffect wordt gecontroleerd

39

• Statistische verwerking
• Met anova voor herhaalde metingen (repeated
  measures)
• Met anova uitgezuiverd voor pre-test scores
• Met anova op verschilscores

40
6.6. Solomon Four groepsdesign

• R O1 T O2
• R O3 O4
• R T O5
• R O6
• Enig opzet waar testeffecten kunnen uitgesloten
  worden

41

• Meest sterke design dat de meeste bedreigingen
  voor validiteit controleert
• Maar zeer veel subjecten nodig dubbel zoveel
  enkel om testeffect te bekijken wordt dan ook
  zelden gebruikt

42
QUASI-EXPERIMENTELEdesigns

• Als externe of ecologische validiteit wil
  verhoogd worden is strenge contrôle soms moeilijk
  of onmogelijk
• Quasi-experimenteel om experimenten in  real
  world  settings te kunnen uitvoeren

43
6.7. Time series design

• Tijdreeksen analyse
• O1 O2 O3 O4 T O5 O6 O7 O8
• Slechts 1 groep
• Toont dat invoegen van interventie een ander
  effect heeft dan geen interventie

44

• Effect van behandeling

Treatment
45
6.8. Reversal design

• O1 O2 T1 O3 O4 T2 O5 O6
  
• Opnieuw bekijken op grafiek

T2
T1
46
6.9. Non-equivalent contrôle groep design

• O1 T O2
• ..
• O3 O4
• Equivalent met pre-test post-test gerandomiseerd
  groepsdesign, maar niet gerandomiseerd
• Dan kijken naar pre-test verschillen en hiervoor
  controleren

47
6.10. Ex post facto design

• Vergelijking tussen twee groepen waarvan we weten
  dat ze op bepaalde karakterisitieken verschillend
  zijn
• Fit niet fit
• Atleten niet-atleten
• Vrouwelijke sporters mannelijke sporters
• Welke variabelen discrimineren tussen deze groepen