om evaluering

1
om evaluering
2
Oversigt

• Projekters væsen projektanalyse
• Evalueringsstrategi
• Evalueringers indhold og metode
• Evaluering som fænomen

3
Hvad koster evaluering?
4
Projekt analyse
5
Projekters væsen

• Tidsbegrænsede En vej mod ukendte mål Kontekst-føl
  somme
  Skalérbare

6
Målretningsbalancen

• Opdagelse
• Afprøvning

7
Faser i ideers udvikling

• Udforskning
• Hvad er det, der foregår?
• Nyhedsforsøg
• Virker det?
• Demonstrationsforsøg
• Virker det hensigtsmæssigt?
• Acceptforsøg
• Virker det godt nok? Skal vi indføre det?
• Kvalitetssikring
• Kan det gøres bedre?

8
Evaluering af implementering
9
De kinesiske æsker
10
Evalueringsspørgsmål til analyse-enheder

• Beskrivende spørgsmål Hvad, hvem
• Udforskende Hvordan
• Testende Hvis ...så...

11
Hvorfor Anledning og formål?

• Motiv-blandingen
• Beslutningsstøtte
• Ritual
• Legitimering
• Taktik
• ....
• NPM...

12
Evaluerings strategi Indhold og metode
13
Projektevaluerings-strategi - evalueres efter 3
år.

• Projektmodenhed Hvor på vejen fra vugge til
  grav?
• Projektklima Fra håb og tro til mistro?
• Extern/ intern evaluering
• Evaluerbarhed evalueringskapacitet
• Fokus på beslutningsstøtte?
• Forankringsstrategi og evalueringsfaser
• Proces / resultatbalance
• Valg af evalueringsmodel

14
Vurdering af kontekst

• Hvad er kontekst?
• Motiv-blandingen ritual, taktik, legitimering
• Er der et behov?
• Er der en opbakning og interesse?
• Hvordan påvirker kontekst udviklingen

15
Evalueringsprotokollen

• Baggrund
• Formål
• Resultat
• Evalueringsspørgsmål
• Strategi
• Delundersøgelser
• Etik
• Tidsplan
• Organisation
• Økonomi

16
Modeller til evaluering

• Behovsevaluering
• Virkningsevaluering
• Procesevaluering
• Effekt evaluering -
• Interessent evaluering Fourth-generation
• Audits
• Bruger-evaluering - empowermentevaluering -
• Målbaseret evaluering, målfri evaluering -

17
Standardprojekt-evaluering

• Løsning af den faglige opgave
• Målgruppen
• Indsatsen
• Resultaterne
• Løsning af driftsopgaven
• Aktivitetsniveau
• Økonomi
• Løsning af den organisatoriske opgave
• Driftsledelse
• Faglig ledelse
• Samspil og samarbejde
• Løsning af den strategiske opgave
• Placering i den store sammenhæng

18
Patton anvendelsesorienteret evaluering

• Brugerengagement
• Anvendelsestænkning fra start
• Anvendelse af den personlige faktor
• Interessent-analyse er vigtig
• Anvendelsesfokusering
• Brugerinddragelse i design
• Anvendelse er ikke rapportering

19
Hvad indeholder virkningsteorier?

• Input og kontekst
• Komponenter som er uundværlige grupper af
  aktiviteter
• Aktiviteter som er det man gør Aktivitetsmål og
  aktivitetsindikatorer
• Aktører som aktiviteterne omfatter
• Aktørmål og aktørindikatorer
• Processer Samspils- og forløbsbeskrivelser
• De kortsigtede og langsigtede resultater man
  regner med at opnå med aktiviteterne.
• Resultatmål og resultatindikatorer
• Utilsigtede resultater

20
Virkningsevaluering

• Teorispørgsmålene
• Hvad er det, vi tror, vi gør?
• Hvad tror vi, der kommer ud af det? Hvorfor?
• Evalueringsspørgsmålene
• Gør vi det, vi siger vi gør?
• Kommer der det ud af det som vi tror?

21
Interessent- evaluering am. Guba
En organisatorisk proces, der udforsker
forskellige interessentgruppers opfattelse af
fordele, ulemper og brændpunkter knyttet til
beslutningsprocesser omkring et bestemt fænomen.
Formålet er at kvalificere processen ved at
stille nye spørgsmål, skaffe nye informationer,
nye forståelser i samarbejde med
interessenterne.
GUBA Agenter Vindere Taber
Investorer/ politikere Leverandører/
henvisere Aktører/behandlere Aftagere Slutbrugere
22
Audit evaluering

• Valg af analyseenhed
• Valg af vurderingskriterier
• Udarbejdelse af cases
• Individuel bedømmelse
• Auditteam vurderer
• Auditteam anbefaler

23
Light-samling

• Most significant change method
• PDSA-cirklen
• Behovsmåling
• Målopnåelse
• CIA-analyse

24
Valg af metodebeskrivelse

• Procedurer
• Guidelines
• Virkningsteori v
• Standarder
• Benchmarking
• Akkreditering
• Evidensbaserede standarder

25
Hvordan måler vi effekt?

• Problemomfang- symptomer
• Ændringer i problemadfærd og symptomer
• Tilpasning
• CBT kan ændre depressive symptomer, men ikke
  social fucntion
• Mekanismer
• Ændringer i cognitive og emotionelle færdigheder
• Samspil
• Ændrede samspilsformer i familien hos mennesker
  med skizofreni
• Interventionsanvendelse
• MST viser mindre forbrug af politi,
  socialrådgivning mv.
• Livsløbsændringer
• Veje ud af/ind i negative udviklingsforløb

26
Evaluerbarhed
27
God evaluering?

• Besvarer stillede spørgsmål med den lovede grad
  af troværdighed
• Bekræfter eksisterende viden - så vi bliver
  stærkere I troen
• Afkræfter eksisterende viden - så vi bliver
  svagere I troen
• Skaber evt. ny viden - så vi må tro noget andet
• Danner udgangspunkt for dialog

28
Brændpunkter Trends

• Evidensdebatten
• De konstitutive virkninger
• Nytteværdien
• Evalueringskapacitet Fra projektevaluering til
  evalueringskultur?

29
Evaluering som fænomen
30
Hvad er evaluering og alt det andet?

• Kvalitetssikring/Udvikling
• Monitorering
• Benchmarking
• Certificering
• Aktionsforskning
• Praksisforsning
• Real world Research
• MTV- Medicinsk Teknologivurdering

31
Evaluering som fænomen

• Evaluering simple
• som ubemærket aktivitet.
• Evaluering light.
• Beslutningsstøtte dvs. data, vurdering,
  beslutning - altid bedre en ingenting.
• Evaluering classic.
• Evaluering som eksplicit, formaliseret
  aktivitet. Når man skal være det bekendt.
• Evaluering pro.
• Evaluering som forskning. Når man vil have det
  bedste.

32
Brændpunkterne

• Motivdebatten
• Beslutningsstøtte,
• ritual, legitimering,
• NPM
• De konstitutive virkninger Kriterier bliver
  værdier
• Tiden
• Standardiseringer
• Interessentforskydning
• Forhandling af virkeligheden
• Evidensdebatten

33
Insider positionen

• Vil evaluators relation til informanterne få
  informanten til at opføre sig anderledes?
• Vil evaluators forhåndsviden føre til
  misfortolkning af data eller til fejlagtige
  slutninger?
• Vil evaluators viden indebære antagelser, som gør
  at UFO mister vigtig viden.
• Vil evaluators politik,loyalitet eller skjulte
  dagsorden føre til misfortolkninger.
• Vil evaluators moralske, kulturelle, eller
  politiske synspunkter føre til ubevidst
  manipulation?