Kvalitetsudvikling af digital dataindsamling p

1
Kvalitetsudvikling af digital dataindsamling på
Danmarks Statistik gennem brugertest
Tema 2 Nye datamuligheder

• Hanne-Pernille Stax, ph.d
• HPS_at_DST.DK

2
Plan

• Kvalitetsudvikling af digital dataindsamling
• på Danmarks statistik
• Nye datamuligheder
• Digitale skemaer og standardiseret interaktion
• Metoder i brugertest af digitale skemaer
• Fund fra brugertest af digitale skemaer
• Kvalitetsudvikling af digitale skemaer

3
1. Nye datamuligheder

• Digital dataindsamling
• Digitale skemaer, der udfyldes online.
• Fordele for NSI
• Data kan valideres ved udfyldelse respondenten
  stoppes hvis der er fejl.
• Data kan anvendes direkte i systemer til
  statistikproduktion.
• NSI sparer tid til tastning / scanning.
• NSI undgår fejl ved tastning/ scanning.

4
1. Nye datamuligheder

• Digital dataindsamling
• Digitale skemaer, der udfyldes online.
• Fordele for respondenten
• Data kan valideres ved udfyldelse respondenten
  stoppes hvis der er fejl.
• Kun relevante spørgsmål vises.
• Dynamisk vejledning kun hjælp når der er behov.
• Dynamiske beregninger mv. som støtte.

5
2. Det digitale skema som tekst - eller
interaktionelt medie?

• Kvalitet Hvad skal vi teste?
• Tekst-forståelse Respondenten skal selv læse,
  forstå og handle på præ-formuleret tekst.
• Test Kvalitet/forståelighed af sprogligt/visuelt
  input til respondenten.
• Interaktion Ikke alt er vist fra start.
• Skema-elementer vises som respons på
  respondentens handlen.
• Test Respondentens interaktion med skemaets
  elementer.

6
3. Metoder i brugertest Issues

• Dataindsamling til business-statistik
• Interne testere
• Bemærker respondenten x?
• Forstår respondenten x?
• Anvender respondenten x som intenderet?
• Mangler respondenten noget?
• X element, ord, vejledning, dynamisk funktion,
• etc

7
3. Metoder i brugertest Issues

• Dataindsamling til business-statistik
• Eksterne brugere
• Matcher begreber / koncepter respondentens
  sprogbrug / records?
• Matcher opgørelsesmåder / kategorier
• respondentens records?
• Fungerer skema-elementer
• så de letter respondentens byrde / task?
• Fungerer skema-elementer
• så de sikre høj data-kvalitet?

8
3. Testforløb

• Teknisk test
• Fungerer x som specificeret
• Brugertest
• Etnografisk præ-interview
• Observation af udfyldelse uden hjælp
• Think-aloud protocol
• Probing kognitiv interviewing
• Debriefing interview

9
3. Metoder Etnografisk interview

• Indledende interview om
• Forventninger
• Kompetencer
• Hvordan R plejer at udfylde skemaer.
• Giver info. om normal brug
• Fastholder R i egen rolle

10
3. Metoder Observation af besvarelse

• R udfylder som normalt
• Tester hjælper/forklarer IKKE undervejs
• Optag eller notér.

11
3. Metoder Think-aloud

• Alle tanker idéer er væsentlige
• Spørg hvad R tænker hvis der er pauser
• 2 personer kan samarbejde og diskutere
• Optag eller notér.
• Fordele
• Respondenten vælger fokus
• Mulighed for fokus på ukendte problemer.
• Ulemper
• Forstyrrer svarproces at skulle tale undervejs
• Kan motivere til unormalt høj tankeaktivitet ?
• Ikke systematisk belysning af issues.

12
3. Metoder Probing / kognitivt interview

• Løbende - Spørg mens der svares
• Nemt at huske
• - Forstyrrer svarproces
• Retrospektive - Spørg bagefter
• Autentisk svarproces
• - Svært at huske effekt af senere tasks
• Lokalt motiverede - Spørg til Rs handlen
• Respondentens perspektiv
• - Ikke systematisk belysning af kendte issues
• Forberedte - Spørg til kendte issues
• Systematisk fokus på kendte issues
• - Ukendte issues kan overses

13
3. Metoder De-briefing

• Opfølgende interview om
• Oplevelse
• Vurdering / evaluering
• Input idéer til forbedring

14
4. Fund Vejledninger

• Struktur Før
• Vejledning før opgave / task
• Kronologisk nummererede punkter
• Som en opskrift
• Vælg først x
• Angiv så y
• Ret evt. z

15
4. Fund Vejledning

• Struktur - Efter
• Nummereret liste fungerer fint - før task.
• Men respondenter går direkte til task
• og læser så vejledning bagfra...
• Re-designes m. markerede keywords
• Regnskabsår Gør x og y
• Lønudgifter Udfyld z og p
• Udgået Marker f og q

16
4. Knap Før ? ud for hver type
17
4. Knap Efter Eksempler på flere typer
18
4. Skema-elementer udenfor skærm - Før
Vises
Vises
Vises
19
4. Skema-elementer udenfor skærm - Efter
20
4. Overført info. - Før
21
4. Overført info. - Efter Kant beregning
22
5. Kvalitetsudvikling Survey
23
5. Kvalitetsudvikling På tværs af surveys
24
5. Kvalitetsudvikling På tværs af NSIs
25
Tak for opmærksomheden Spørgsmål og
kommentarerer velkomne HPS_at_DST.DK