Kvantitativ dataanalyse: Prinsipper og eksempler

1
Kvantitativ dataanalysePrinsipper og eksempler

• Frode Svartdal
• Universitetet i Tromsø/Rogaland høgskole
• 2010

2
Tilnærming?

• Kvalitativ? Kvantitativ?
• Diskuteres ikke her
• Tar for gitt
• Kvantitativ tilnærming er svært mye brukt
• Statistikk er et svært nyttig redskap i forskning

3
(No Transcript)
4
(No Transcript)
5
Folketall og storkebestand for hvert år i
perioden 1930-1936 i Oldenburg
6
Statistikk

• Typiske anvendelser
• Beskrive og oppsummere data fra et utvalg
• Eksempel Tabeller, gjennomsnitt, osv.
• Teste hypoteser (dvs. trekke slutning fra et
  utvalg til en populasjon)
• Eksempel Gruppeforskjeller
• Gjøre analyser i data for å avdekke mønstre eller
  strukturer
• Eksempel Hvilke personlighetstrekk hører sammen?

7
Eksempel 1 Beskrivelse av data

• 12,4 24,3 23,5 35,7 30,6 16,0 28,4 25,2 31,2 31,6
  31,8 32,1 31,3 31,8 20,7 25,4 19,7 31,7 25,3 19,4
  31,5 32,0 27,5 31,5 29,4 31,5 31,2 31,4
• N 29
• Gjennomsnitt 27,1
• Standardavvik 5,64
• Min 12,4
• Max 35,7

8
Eksempel 2 Slutning

• Har tiltak X effekt i reduksjon av
  atferdsproblemer?
• Gruppe 1 Tiltak X, 267 deltakere
• 260 OK, 7 problemelever
• Gruppe 2 Intet tiltak, 316
• 300 OK, 21 problemelever
• Dvs Vi forsøker å si noe generelt ut fra
  utvalget
• Chi-square (df1) 4,94, p 0,026
• Ja, tiltak X har effekt --- forutsatt at vi har
  gjort undersøkelsen korrekt
• Kritisk her ???

9
Eksempel 3 Slutning
Eksamensresultater ( av max skåre) på Flervalg
og Essay Er det sammenheng mellom karakterene?
10
Eksempel 4 Slutning
Er nivåene forskjellige?
11
Eksempel 5 Meta-analyse

• Statistisk prosedyre for å oppsummere funn fra
  allerede gjennomførte undersøkelser
• Viktig redskap for å trekke konklusjoner der
  enkeltundersøkelser ikke tillater en entydig
  konklusjon, for eksempel
• noen studier viser forventet effekt
• noen studier viser motsatt effekt
• noen viser 0 effekt

12
Meta-analyse

• Områder der meta-analyser anvendes
• Virker en bestemt terapi-metode?
• Virker kognitiv atferdsterapi?
• Virker en bestemt klinisk behandlingsteknikk?
• Jfr. evidensbasert medisin
• Hva sier egentlig forskning om en bestemt
  problemstilling som har vært mye studert?
• Er effekten av belønning positiv (jfr.
  undermining)?

13
Tre aspekter ved et empirisk prosjekt

• Før undersøkelsen
• Problemstilling
• Hva sier tidligere forskning?
• Selve undersøkelsen
• Metode, design
• Type data, analyse
• Etter undersøkelsen
• Klare konklusjoner mulig?
• Relasjon til tidligere funn
• Implikasjoner (teorietisk, praktisk)
• Behov for oppfølgende undersøkelser?

Orientere seg i litteratur, utmeisle
problemstilinger
Hvordan kan denne problemstillingen undersøkes?
Hva var det vi fant? Presentasjon (artikkel) Hva
nå (må vi gå runden på nytt?)
14
Empirisk prosjekt - statistikk

• Dataanalyser med et statistikkprogram er et av
  flere ledd i forskningsprosessen
• Det er ikke dataanalysene som gjør prosessen til
  en forskningsprosess
• Det å "bruke et statistikkprogram" krever en
  forståelse av hva man gjør
• Det er ikke noe i veien for å prøve seg frem på
  eksempler, men man kommer ikke langt uten en
  froståelse av det statistiske grunnlaget for de
  analyser man gjennomfører. Statistikkprogrammet
  er et redskap, og som ellers er må et redskap
  brukes med vett

15
Empirisk prosjekt - statistikk

• Skill mellom resultater og funn
• Resultatene fremkommer som en mekanisk (men ofte
  kompleks) regneoperasjon på de tallene vi legger
  inn i statistikkprogrammet funn er vår tolkning
  av resultatene. F.eks. kan vi beregne
  samvariasjonen (korrelasjonen) mellom helse og
  inntekt ("vi fant en korrelasjon på 0,46 mellom
  disse variablene"), men hva dette betyr kan ikke
  statistikkprogrammet fortelle oss
• Statistisk signifikans sier noe om et resultat er
  reliabelt
• Ville man fått samme resultat om man hadde
  gjennomført undersøkelsen på et annet utvalg fra
  samme populasjon?), ikke hvor interessant det er

16
Empirisk prosjekt - statistikk

• Mange analyser bygger på bestemte forutsetninger
• Dette kan angå målenivå, det kan angå krav om
  normalfordeling, osv.
• En grafisk fremstilling av resultatene kan ofte
  være informativ

17
Noen viktige begreper i statistikk

• utvalg, populasjon
• n (antall deltakere) i utvalget
• Effektstørrelse
• Signifikans

18
Noen viktige metodebegreper

• Design
• Typer undersøkelser
• Beskrivende
• Korrelasjonell
• Eksperimentell
• Korrelasjon (samvariasjon)
• Kausalitet (årsak-virkning)

19
Effektstørrelse

• Effekt viser til the degree to which a
  phenomenon exists (Cohen, 1977)
• Hvor stor er en gruppeforskjell?
• Hvor sterkt samvarierer to variabler?
• Hvor mange av de som får behandling blir friske,
  sammenlignet med en kontrollgruppe som ikke får
  behandling?

20
Effektstørrelse

• Flere måter å beregne effektstørrelse på
• Rate differences, odds ratios, relative risks,
  mean differences, correlations
• Flere betegelser på effektstørrelse
• ES, d, r
• Vanlig fortolkning av d
• Liten 0,20
• Medium 0,50
• Stor 0,80
• Fortolkningen kan variere noe fra område til
  område

21
Effektstørrelse Eksempel

• For to gruppegjennomsnitt
• ART 10 Kontroll 16
• Standardavviket (variasjon i skårene rundt
  gjennomsnittet) 8 i kontrollgruppen
• Effektstørrelse (ES) (10 16) / 8 0,75
• Dvs. Målt i forhold til standardavviket, skårer
  ART 0,75 høyere enn kontroll
• Viktig Jo mer variabilitet i skårene (høyere
  standardavvik), desto mindre effektstørrelse

22
Signifikans

• Signifikans
• Hvor reliabelt er resultatet (ville vi fått samme
  utfall hvis vi hadde testet et nytt utvalg fra
  samme populasjon)?
• Signifikans sier ikke nødvendigvis noe om hvor
  viktig et funn er
• Effektstørrelse
• Hvor stor er effekten

23
n (antall deltakere)

• Undersøkelse 1 n 16
• ART 8
• Kontroll 8
• Undersøkelse 2 n 50
• ART 25
• Kontroll 25
• Konklusjon fra undersøkelse 1 er sannsynligvis
  sikrere enn fra undersøkelse 2 hvorfor?

24
n

• Power Kan undersøkelsen oppdage en effekt hvis
  den faktisk er der?
• n er viktig Få deltakere reduserer power, mange
  deltakere øker power
• Hvor mange?
• Hvis små gruppeforskjeller ? øk n
• Hvis stor variasjon innen gruppene ? øk n

25
Et par gode kilder

• Kvaløy Bruk statistikk riktig!
• http//www.ux.his.no/jtk/statmet/Rettbruk.pdf

26
Pitfalls of Data Analysis (or How to Avoid Lies
and Damned Lies)

• Be sure your sample is representative of the
  population in which you're interested.
• Be sure you understand the assumptions of your
  statistical procedures, and be sure they are
  satisfied. In particular, beware of
  hierarchically organized (non-independent) data
  use techniques designed to deal with them.
• Be sure you have the right amount of power--not
  too little, not too much.
• Be sure to use the best measurement tools
  available. If your measures have error, take that
  fact into account.
• Beware of multiple comparisons. If you must do a
  lot of tests, try to replicate or use
  cross-validation to verify your results.
• Keep clear in your mind what you're trying to
  discover--don't be seduced by stars in your
  tables look at magnitudes rather than p-values.
• Use numerical notation in a rational way--don't
  confuse precision with accuracy (and don't let
  the consumers of your work do so, either).
• Be sure you understand the conditions for causal
  inference. If you need to make causal inference,
  try to use random assignment. If that's not
  possible, you'll have to devote a lot of effort
  to uncovering causal relationships with a variety
  of approaches to the question.
• Be sure your graphs are accurate and reflect the
  data variation clearly.
• http//my.execpc.com/helberg/pitfalls/