M

1
Måling Bruk av spørreskjema

• Inge Jan Henjesand
• Handelshøyskolen BI

2
Utgangspunkt for måling

• Valg av undersøkelsesopplegg
• Eksplorartive undersøkelsesopplegg
• Beskrivende undersøkelsesopplegg
• Kausale undersøkelsesopplegg

3
Definisjon på måling

• Tilordning av tallverdier
• som karakteriserer
• objekter, personer,tilstander eller hendelser
• i henhold til spesifiserte regler og prosedyrer

4
Måleprosessen
Teori
Teoretiske begreper
Teoretiske relasjoner
Teoriplan
Empiriplan
Empiriske variabler
Relasjon mellom empiriske varaibler
Empiriske data
5
Eksempel Sentralisering av beslutningsmyndighet

• Teoretisk, konseptuell definisjon
• location of decisional authority
• Operasjonell definisjon
• location of the power to make and implement
• decisions that are binding for the actors
• (concentration with respect to a vertical
  level
• within the distribution channel)

6
Eksempel Sentralisering av beslutningsmyndighet

• Operasjonelle indikatorer
• (målt ved hjelp av en 5-punkts Likert skala)
• the producer determines by himself the time
  for slaughtering the fish
• the producer determines (chooses) the exporter
  all by himself
• the producer determines by himself the
  delivery of the fish
• the exporter has no right to intervene
  regarding feeding of fish
• the exporter has no influence with respect to
  questions regarding the
• quality of the fish

7
Målenivåer

• Nominal
• Ordinal
• Intervall
• Ratio

8
Målingsnøyaktighet

• Klassisk måleteori
• X(O) X(T) S R
• S systematiske kilder til feil, som for
  eksempel
• stabile karakteristika ved objektet som
  påvirker
• scoren
• R random (tilfeldige) kilder til feil som for
• eksempel forbigående personlige faktorer

9
Målingsnøyaktighet

• Reliabilitet
• Sammenlignbare mål på det samme begrepet
• er i overenstemmelse med hverandre
• R 0
• Validitet
• Avvik i observerte scorer reflekterer
  virkelige
• forskjeller ved egenskapen man forsøker å måle
• ingenting ellers
• X(O) X(T)

10
Målingsnøyaktighet

• Reliabilitet
• Stabilitet
• test - retest
• Homogenitet
• alternative former
• intern sammenligning/samvariasjon
• split-half
• Chronbachs alpha

11
Målingsnøyaktighet

• Validitet
• Innholdsvaliditet
• Kriterierelatert validitet
• Begrepsvaliditet
• konvergent validitet
• diskriminant validitet
• nomologisk validitet

12
Prosedyre for utvikling av mål
Spesifiser begrepsdomene Generer et utvalg
indikatorer Samle inn data Velge gode
indikatorer(rendyrking) Samle inn data Vurder
relaibilitet Vurder validitet Utvikle normer
13
Survey undersøkelser og bruk av spørreskjema

Rugg (1941)
Do you think the United States should forbid
public speeches against democracy? Yes
54 Do you think the United States should allow
public speeches against democracy? no 75
14
En modell av svargivning i en spørreundersøkelse

Respondent
handlinger
Produkt/ Tjeneste
Bruks erfaring
Evaluering
Respons
Måle- prosedyre
Situasjon
15
Forskning om survey metode

1940 - årene og tidlig 50 - årene --gt
QUESTION WORDING. - ad hoc, sjelden fundert
på teoretiske betraktninger - behov for
altomfattende teori for å stille spørsmål -
pga. manglende teoretisk rammeverk måtte man
starte på nytt for hvert spørsmål, forskere
mistet interessen --gt Cantril (1944), Gauging
public opinion og Payne (1951), The art
of asking questions
16
Forskning om survey metode

1950 - årene til 1970 - årene --gt
RESPONSEFFEKTER - fra karakteristika ved
spørsmål til karakteristika ved respondent
og intervjueratferd - karakteristika ved
oppgaven (task effekter) viktigste kilde til
responseffekt. - ny interesse for
spørsmålkarakterisika. --gt Sudman og Bradburn
(1974), Response effects in surveys, A
review and synthesis
17
Forskning om survey metode

1980 - årene og 1990 - årene --gt KOGNITIVE
TILNÆRMINGER - samarbeid mellom kognitive
psykologer og survey forskere - forklaring
vs. prediksjon - språkforskning og
kommunikasjon --gt Tanur (1991) Questions about
questions Hippler, Schwarz og Sudman
(1987), Social information processing
and survey methodology
18
Metodiske tilnærminger til studier av
spørre- skjemaeffekter i surveyundersøkelser

Fokus på ulike typer feilkilder (measurement
error) To forskjellige utgangspunkt Survey
statistikk og psykometri Survey
statistikk avvik i survey resultater fra sanne
refleksjoner av populasjonen Bias og
varians når survey benyttes som grunnlag for å
estimere gjennomsnitt, forholdstall og summer
(beskrivelser) Bias avvik fra den
underliggende sanne statistiske verdien
Varians avvik fra den sanne verdien på et
survey spørsmål som resultat av variasjoner
på tvers av replikasjoner (variable error)

19
Potensielle kilder til målefeil (responseffekter)

Intervjuer effekter Oppgaveeffekter
(task) - Administrasjon av undersøkelsen
(sensitive tema) - Ordlyd på spørsmål - endrer
meningsinnholdet i spørsmålet - elisitere ulikt
ladete assosiasjoner - endre oppfatning av
oppgave ved svargivning - spørsmålslengde vs.
enkle spørsmål - åpne eller lukkede spørsmål
- responskategorier - balansert eller
ensidig - midt alternativ - rekkefølge på
responsalternativer - vurderingsskalaer og
rangeringsskalaer - bruk av vet ikke
alternativ - rekkefølge på spørsmål
(overflødig, konsistens) - minne
20

Respondent effekter - response set (fremstille
seg selv i et spesielt lys) - response style
(svare på en bestemt måte uavhengig av
spørsmål) - respons tendenser føyelig
jukser ønskelig avvikende defensiv
kritisk extrem ikke konsistens
21
Psykometri Validitet og reliabilitet når
survey benyttes som grunnlag for å
estimere regressjonskoeffisienter,
korrelasjonskoeffisienter og parameterestimater
(modellering) Utgangspunkt i klassisk
testteori (classical true score theory) X
T e Når flere spørsmål inngår i en måleskala
for å måle det samme begrepet Rendyrking av
måleskalaen Validitet Konvergent og divergent
validitet (Faktoranalyse) Reliabilitet
korrelasjon mellom målinger (test-retest
korrelasjoner og Chronbachs alpha)

22
To ulike formål med å være opptatt av
målefeil --gt estimere størrelse på feil vs.
eliminere/redusere målefeil Ulike tilnærminger
til studier av målefeil --gt kognitive
laboratorier --gt mål som er eksterne i forhold
til en spesifikk survey --gt split sample
eksperimenter --gt gjentatte målinger av de samme
respondenter --gt metaanalyse Kjennetegn ved
de metodiske tilnærmingene --gt Stimulus -
Respons

23
Teoretiske (kognitive) tilnærminger til studier
av spørreskjemaeffekter i surveyundersøkelser

Et intervju kan oppfattes som en sosial aktivitet
som innebærer bytte Prinsipper for sosialt
bytte Clark og Schober (1991) Asking questions
and influencing answers Survey vs. sosialt
bytte 1. En type bytte spørsmål og
svar 2. Retning og rekkefølge er bestemt av
skriftlige spørsmål 3. Spørsmålsstilleren er
normalt ikke tilstede 4. Felles forståelse er
ikke mulig å sikre 5. Respondenter kan bruke
regler for sosial interaksjon --gt Identifikasjon
av de psykologiske mekanismer som er relevante i
en surveysituasjon kan gi en bedre forståelse
av spørreskjemaeffekter
24
Respondentens oppgaver ved svargivning på survey
spørsmål Svargivningsprosessen består av
(minst) fire kognitive oppgaver 1. Respondente
ne må tolke spørsmålet 2. Respondentene må
gjøre seg opp en mening/oppfatning om temaet
(vurdering) 3. Respondentene må tilpasse
meningen/oppfatningen til responsformatet i
spørreskjemaet 4. Respondentene kan redigere
svargivningen

25

Tolking av spørsmålet
Mening/oppfatning
Fremkalle relevant informasjon
Fremkalle tidl. vurd.
Vurdering lagret?
Ja
Nei
Hvordan bruke informasjon?
Foreta vurdering
Formatere respons
Redigere respons
26
Tolking av spørsmålet Tre informasjonskilder kan
påvirke tolking 1. Innholdet i spørsmålet -
Forstå det semantiske meningsinnholdet i ordene
som benyttes - Passiv / automatisk eller
aktiv / problemløsning 2. Responsskalaen -
Tilgjengelige responsalternativer spesifiserer
hva spørsmålsstilleren er ute
etter 3. Tidligere spørsmål - Kan aktivere
begreper som kan påvirke tolking - Informere
respondenten om hva spørsmålsstilleren allerede
vet

27

Dannelse av oppfatning/mening Respondenter kan
svare på spørsmål uten å gå gjennom alle trinn i
prosessen, men ved å fremkalle en tidligere
vurdering Tidligere vurderinger kan lettere
fremkalles dersom 1. Tema er
viktig 2. Vurderingene er relatert til
handling 3. Man har blitt spurt tidligere
28
Dannelse av oppfatning/mening Ofte har ikke
respondenter gjort seg opp noen oppfatning eller
mening om det som det spørres etter --gt
Vurderingen må foretas mens intervjuet pågår og
respondenten må fremkalle/aktivere relevant
informasjon Hvor ofte, og hvor lenge siden
tidligere aktivering? Tidligere spørsmål regnes
som den viktigste kilden til å aktivere
informasjon som er relevant for å svare på
etterfølgende spørsmål Ulike typer informasjon
som kan aktiveres 1. Andre eksemplarer av
kategorien det spørres etter 2. Spesifikke
egenskaper 3. Normative standarder 4. Egne
kunnskaper og atferd 5. Humør

29

• Formatering av respons
• Vanligvis må respons uttrykkes i kategorier gitt
  av
• forskeren
• --gt respondenten kan ikke bruke sine naturlige
  kategorier
• 1. Responsalternativer kan bidra til tolking av
  hva som er aktuelle svar på spørsmålet
• 2. Responsalternativer kan føre til
  forankringseffekter
• Redigering av respons
• Sosiale normer
• Negativ selv-rapportering - sosialt uønsket
• Rapportering av tilfredshet og vurderinger
  skjeve i positiv retning

30
Antakelser om respondenten 1. Respondenten har
informasjonen 2. Respondenten forstår
spørsmålet 3. Respondenten kan
svare 4. Respondenten vil svare Antakelsene
påvirkes av a) utvalg b) spørsmålskriving c)
spørresskjemautforming d) intervjusetting /
betingelser

31
Prosedyre for utvikling av spørreskjema

Trinn 1 Spesifisere hvilken informasjon man
trenger
Beskrivende og kausale undersøkelser - krever
tilstrekkelig forkunnskaper for å kunne
formulere hypoteser som kan styre
undersøkelsesprosessen og utforming av
spørreskjema - Bruk av dummy tabeller for å
strukturere informasjonsbehovet Ex shop
preferences vs. age segments
Preferences for Age
Dressmann Hennes Mauritz Cubus ---gt 30
30 - 39 40 ---gt Eksplorative
undersøkelser - løst strukturerte spørreskjema /
intervjuguide
32
Trinn 2 Bestemme spørreskjematype og
administrasjonsmetode
Beslutninger om struktur og grad av
åpenhet Administert ved postal
spørreundersøkelse, telefon eller personlig
intervju
33
Postal spørreundersøkelse
Fordeler
lavere kostnader (kan være eneste mulige
innsamlingsmetode) Reduksjon i skjevhet som
skyldes intervjuer som feilkilde Større
anonymitet Mulighet for å tenke gjennom
svarene(der dette er ønskelig) Tillater en
større geografisk kontaktflate med minimale
kostnader

Ulemper
Krever enkle spørsmål (små muligheter for
forklaringer) Ingen muligheter for å få
respondentene til å utdype svarene (svarene er
fakta) Ingen kontroll over hvem som fyller ut
spørreskjemaet Lav responsrate som kan påvirke
funnene i undersøkelsen
34
Personlig intervju
(personlig intervju vs. postal spørreundersøkelse)
Fordeler
Større fleksibilitet, mulighet for
tilpasninger Kontroll over intervjusituasjonen
Høy responsrate Supplerende informasjon kan
samles inn
Ulemper
Høyere kostnader Intervjuer kan bidra til
skjevhet i dataene (påvirkning) Mangel på
anonymitet
35
Telefon intervju Fordeler og ulemper

Moderate kostnader Høy responsrate
Moderat kontroll over intervjusituasjonen
Moderat mulighet for større geografisk
kontaktflate Moderate muligheter for å
innhente detaljert informasjon Hurtig
datainnsamlingsmetode
36
Trinn 3 Bestemme innhold i hvert enkelt spørsmål
Er spørsmålet nødvendig? - hypotheser og dummy
tabeller Er flere spørsmål nødvendig isteden
for ett spørsmål? - ulike referanserammer for
svargivning --gtbryt spørsmålet opp i flere
spørsmål Ex Hvorfor bruker du Colgate? (1.
reduserer hull, 2.anbefalt av tannlege) ---gt
Hvordan begynte du å benytte Colgate? ---gt Hva er
den primære årsaken til at du bruker Colgate?
37
Har respondentene den nødvendige informasjon? -
vi vil få svar på de fleste spørsmål, spørsmålet
er om svarene gir mening (re.
svargivningsprosessen) Vil respondentene gi
informasjonen? - villighet til å svare er en
funksjon av mengde arbeid involvert ved å
svare på spørsmålet evne til å formulere et
svar hvor sensitivt temaet er - oppmerksomhet
mot hvordan temaet er presentert,
spørsmålsplassering og ordlyd Tommelfingerregler
1. gjemme spørsmålet sammen med andre
spørsmål 2. understreke at atferden eller
holdningen ikke er uvanlig 3. fremstille
spørsmålet relatert til andre og hvordan man
tror disse ville svart 4. benytte
svarkategorier i spørreskjemaet

38

Trinn 4 Bestemme responsform på spørsmålene
Åpne spørsmål Ex Hvor gammel er du? Har du
planer om å, kjøpe ny bil i år? Hvorfor kjøpte
du et Phillips farge TV? - Benyttes ofte i
begynnelsen på spørreskjema, eller for å få
utfyllende informasjon Lukkede spørsmål (med
flere svarkategorier) - Tillater ikke
respondentene å benytte sine sanne
svarkategorier - Skal det benyttes vet ikke
eller ingen oppfatning alternativer? -
Svaralternativene må være gjensidig utelukkende
39

Dikotome spørsmål? Ex Har du planer om å kjøpe
ny bil dette året? 1. ja 2.
nei Tror du bensin vil bli dyrere eller
billigere neste år enn den er nå?
1. dyrere 2. billigere Skalaer

-
Noncomparative rating scale - Graphic
noncomparative rating scale (continious rating
scale)
40
- Itemized noncomparative rating scale nature
and degree of verbal description number of
categories balanced or unbalanced
alternatives odd or even number of categories
forced or nonforced scales - Comparative rating
scale - Graphic and itemized comparative rating
scale - Pairwise measures of preference and
discrimination - Rank order rating scale -
Constant sum scale Attitude scales - Semantic
differential scale - Stapel scale - Likert scale

41
Trinn 5 Bestemme ordlyd på hvert spørsmål
Bruk enkle ord Unngå tvetydige ord og
spørsmål Unngå ledende spørsmål Unngå
implisitte alternativer (som ikke er tatt med i
svaralternativene ) Unngå implisitte
antakelser (hva vil skje som følge av) Unngå
generaliseringer og estimater (bruk spesifikke
spørsmåll) Unngå "dobbeltløpede" spørsmål (bruk
av ordet og)
42

Trinn 6 Bestemme rekkefølge på spørsmålene
Bruk enkle interessante åpningsspørsmål Bruk
trakttilnærming - Starte med et bredt fokus og
snevre dette inn utover i spørreskjemaet Benyt
te rute-spørsmål med forsiktighet Spør etter
klassifiseringsinformasjontil slutt Plasser
vanskelige eller sensitive spørsmål til slutt i
spørrreskjemaet
43

Trinn 7 Bestemme layout på spørreskjemaet
For å sikre at spørreskjemaet blir akseptert -
påvirker respondentens samarbeidsvilje -
følgebrev Forenkle kontroll og håndtering -
spørreskjema størrelse - layout - rekkefølge på
spørsmål
Trinn 8 Gjennomgang og revisjon av
spørreskjemaet
Trinn 9 PRETEST !!!!!!!!
44

Faktorer som kan påvirke responsraten

• Sponsor (fremheve hvem som sponser undersøkelsen)
• Appell (fremheve hvorfor man bør svare)
• Belønning (økonomisk/ikke-økonomisk)
• Spørreskjema format (layout, farge, lengde, type
  følgebrev)
• Følgebrev (overbevise respondenten om at han må
  svare)
• Frankert svarkonvolutt
• Oppfølging (purring)