Formidling og Metode

1
Formidling og Metode

• Formidling og Metode 3. gang
• IT-ledelse, Softwareudvikling Forår 2006

2
Programming today is a race between software
engineers striving to build bigger and better
idiot-proof programs, and the Universe trying to
produce bigger and better idiots. So far, the
Universe is winning.
3
500 ccs by Vincent F. Hendricks
http//www.vince-inc.com/500CC.html

• I had a fortune cookie the other day, and it
  said Outlook not so good'. I said Sure, but
  Microsoft ships it anyway.
• Computers are like air conditioners They stop
  working when you open windows.

4
Aftenens Metode Program

• Gennemgang af øvelser
• Noget om fleksible undersøgelsesdesigns og
  interviews
• Øvelse Forberede Explorativ fase (pilot) for
  Kursets Case

5
Gennemgang af øvelser
6
Gennemgang af øvelser

• Learning in an Online Format versus an In-class
  Format An Experimental Study
• The Nature of Salience An Experimental
  Investigation of Pure Coordination Games
• The Milgram Experiment

7
Learning in an Online Format versus an In-class
Format An Experimental Study
Pre-test post-test two treatment two group design
Pre-test post-test two treatment three group RCT
design

• Basic warm-up exercise in identifying a simple
  research design
• Easy to criticize and improve
• Stresses the importance of RCTs

Unknowing Subjects
Unknowing Teachers
Group 1 Online
Pre-test
Post-test
Treatment 1
c
c
c
RCT
Course separation
Group 2 In class
Treatment 2
Pre-test
Post-test
No treatment
Post-test
Pre-test
Group 3
?
Response variable compared by matching
Too few subjects?
Testing?
c
8
Learning in an Online Format versus an In-class
Format An Experimental Study

• Is it appropriate to call this study an
  experiment?
• Is the conclusion of the study Our study
  demonstrates that the learning of online students
  is equal to the learning of inclass students for
  our sample valid? (in what sense are
  learning used here and is it sound? Relative to
  pre-test or post-test?)
• Is the conclusion of the study Thus, this
  study provides support for the effectiveness of
  the online course sound and appropriate given
  the information given in the study?
• Is the precaution of too few subjects the most
  pertinent of the study? (Is the prominence given
  this threat misleading?)
• Is it possible to quantify learning ?

9
The Nature of Salience An Experimental
Investigation of Pure Coordination Games

• Exercise in identifying research design and
  saying something sensible about this, albeit it
  is within an unfamiliar research field
• Learning the norms for good reporting of research
  design

10
The Nature of Salience An Experimental
Investigation of Pure Coordination Games
Group P
Treatment 1
Post-test
RCT
c
Group C
Treatment 2
Post-test
Why not a pre-test ?
11
The Milgram Experiment

• One of the most famous experiments
• A real Rubik Cube when it comes to identifying
  Research Design
• Basic for discussion of profession ethics

12
The Milgram Experiment

• The Research Question?

Could it be that Eichmann, and his million of
accomplices in the Holocaust were just following
orders? Could we call them all accomplices?... St
anley Milgram answered the call of this problem
by performing a series of studies on the
Obedience to Authority.
?
Motivating vs. Real Research Question

• explanatory and response variables

13
The Milgram Experiment
lydighed
forklarende variabel
respons variabel
autoritet
Why not just a Pre-test post-test, or post test
only two group RCT Design?
lurende variabel
14
The Milgram Experiment
Obedience
Group A
Treatment
Post-test
Authority
c
Group B
No treatment
Post-test
?
(?)
Why not just a Pre-test post-test, or post test
only two group RCT Design ?
Why repeat the treatment with several voltages ?
15
The Milgram Experiment
Validity
Recruitment and paid
Reliability problems
Bad sampling
Order effects
Missing Control Group
Obedience
Group A
Treatment
Post-test
Authority
Line Alexander m.fl. Hvor villige er folk til at
adlyde en autoritet, når de bliver bedt om at
udføre en handling, som er i strid med deres egen
samvittighed?
Parametric design (measuring explanatory variable
at several levels) ?
Lurking Variable Subjective Thresholds of
conscience
Subjective thresholds of conscience as control
16
The Milgram Experiment

• Quasi-experimental design single-group post-test
  only involving repeated measures
  (pre-experiment), (137)
• Observations of conscience as control
• Order effects as a lurking but interesting
  variable

17
The Milgram Experiment

• Some threats to Validity
• Sampling strategy (voluntary recruited and paid
  subjects)
• Missing or spurious control
• Order effects
• Some Threats to reliability are
• Observation as method for identifying Subjective
  thresholds
• The use of actors
• Some Threats to generalizability are
• We dont know the effects of order-effects
• The intensity of the experiment
• The isolation of the experimental subject

18
The Milgram Experiment

• Ethical Problems
• Future effects on subjects
• Future credibility of experimental settings

19
Noget om Fleksible Undersøgelsesdesigns og
Interviews
20
CASE
Velkommen til samarbejdet med ITMarket
Development
Vores forventninger til Jeres team Vi har
kontaktet Jeres team med henblik på at få løst en
række forberedende opgaver inden for
vidensproduktion og formidling i det kommende
forår. Herunder udvikling af undersøgelsesdesign,
afvikling af piloter, samt en professionel og
målrettet formidling af resultater. Som
samarbejdspartner forventer vi en række konkrete
ting af Jeres team. I skal jævnligt mødes
velforberedte med andre partnere for at give
hinanden feedback på elementer af jeres
vidensproduktion, præsentationer, og ideer.
Derudover forventes det at Jeres team løbende
rapporterer til direktionen i notater,
arbejdsdokumenter, mundtlige præsentationer og
til møder.
Hvem er vi I ITMarket Development har vi
specialiseret os i udvikling og implementering af
informationsteknologier i forbindelse med handel.
Vi lever af skræddersyede løsninger som
tilgodeser vores kunders behov. Dette kræver et
grundigt forarbejde, samt at alle stakeholders
præsenteres for de komplekse problemstillinger og
løsningsmodeller som vi arbejder med i et let
forståeligt, men samtidigt udførlig sprog.
Vidensbaseret formidling er derfor essentiel for
vores virksomhed.
Strukturen Gennem de sidste fire år er ITMarket
Development blevet de danske handels-virksomheders
foretrukne samarbejdspartner. Denne succes kan
vi hovedsageligt tilskrive ideen om at fastholde
en smal virksomhedsstruktur, alene bestående af
en direktion, der koordinerer research, udvikling
og implementering foretaget af en række
samarbejdspartnere særligt udvalgte til det
enkelte projekt.
21
Øvelse 1 Notat fra Direktionen
ITMarket Development vil revurdere mulighederne
for Internetbaseret dagligvarehandel

• Opgave
• Som første skridt i dette projekt får I til
  opgave at forme passende arbejdsgrupper, der i
  fællesskab vil kunne løfte opgaver såsom
• Tilegnelse af nye metoder til vidensproduktion.
• Udvikling og udførelse af enkelt og/ellers
  fokusgruppe pilot interviews af kundemasse,
  potentielle brugere m.m.
• Udvikling og udførelse af eksperimentelle
  brugerundersøgelser og/eller kvantitative
  undersøgelser til afdækning af markedspotentiale.
• Statistik analyse arbejde
• Udarbejdelse af professionel vidensbaseret
  formidling.

Betingelser Yderst centralt står det faktum at
ITMarket Development ikke vil gå videre end
projektets pilot-fase hvis det ikke kan sælges
videre på forhånd. Således er et grundlæggende
krav til succes en professionel vidensbaseret
formidling af tentative resultater og
forventninger.
Projekt ITMarket Development planlægger at
udvikle og tilbyde implementering og
administrering af et system til Internetbaseret
dagligvare handel. Dette kræver dog et grundigt
forarbejde. For eksempel, kræver dette projekt
forberedende undersøgelser af årsagerne til ISOs
fiasko, udvikling af undersøgelsesdesign for at
teste markedspotentiale og brugerbehov, samt
afvikling af efterfølgende piloter.
Baggrund Sidst i 1990erne lancerede ISO Danmarks
første forsøg på Internet baseret
dagligvarehandel. Allerede i 2001 blev konceptet
nedlagt igen. En lang række faktorer peger på at
ISOs design af Internet baseret dagligvarehandel
var problematisk. Dele af fiaskoen er blevet
tilskrevet dårlige design løsninger, andre dele
er blevet tilskrevet IT-teknologiens daværende
udviklingsstade. Uanset hvad, har ISOs fiasko
tilsyneladende afholdt andre agenter på
dagligvaremarkedet fra yderligere forsøg på at
etablere Internet baseret dagligvarehandel
indtil nu.
22
Fleksible designs

• Fleksibilitet i design, dvs. når det forudgribes
  at et optimalt design grundet forhold er et der
  skal kunne opstå, udvikles, og tilpasses hen ad
  vejen
• Særligt når kendskab til området eller
  problemstilling er begrænset, eller når disse har
  en særlig bevidst natur
• Sigter ofte på kvalitative data, evt. med henblik
  på efterfølgende fikserede undersøgelser

23
Validitet

• At forlade sig på menneskelig rapportering frem
  for observation af adfærd årsager og problemer

24
Validitet og fleksible designs

• Svære at gentage, derfor
• Beskrivelse
• Præcision og komplethed
• Fortolkning
• Åbenhed i situationen overfor alternative
  fortolkninger (bamhjertighed/fortolkning indefra)
• Teori
• Arbejd med og håndter altid alternative
  forklaringer

25
Midler for at sikre validitet

• Forlænget engagement
• Triangulering (krydstjekmetoder)
• Peer debriefing and support
• Member checking (vend tilbage til kilder
• Djævlens advokat (led efter modeksempler før en
  anden gør det for dig)
• Arkiver materiale og arbejd med
  undersøgelsesdagbøger

26
Interviews

• Open-ended research on facts, behavior, and
  beliefs and attitudes
• Structured
• Semi-structured
• Unstructered

27
Conducting Interviews

• Some important issues
• Formulation of questions
• Timing interviews (Schedules)
• Transcribing
• Analyzing

28
Øvelse
29
Øvelse

• Notat til direktionen, der forelægger hvordan
  opgaven i casen skal gribes an dvs. notat der
  redegør for valgt small-scale
  undersøgelsesdesign
• Vægt på den fleksible eksplorationsfase
• Formidlingsmål