Organisationsudvikling i udviklingsbistand hvordan mler vi det umlelige

1
Organisationsudvikling i udviklingsbistand
hvordan måler vi det umålelige?
2
Mål for workshoppen

• Deltagerne kan tage stilling til en realistisk
  evalueringsmetode til et blødt område i andre
  dele af verden
• Deltagerne har dannet sig en mening om metodens
  værdi i en dansk kontekst
• Facilitatoren har fået feedback på begge dele
• Og hvad er så lige jeres mål?

3
Udfordring

• Organisationsudvikling hvad er nu lige det?
• Evaluere det hvordan skal det nu lige gøres?
• Snak med naboen
• Egne erfaringer med organisationsudvikling
• Blev det evalueret og så hvordan?

4
Program

• Konteksten Bistand, stadig større ambitioner og
  kompleksitet og uvidenhed
• Metoden 1 Hypoteser om organisationer og
  forandring
• Metoden 2 Evaluering med resultat/effekt
  orientering snarere end input- og donor-fokus
• Er det muligt?
• Metode refleksion Realistisk evalueringstilgang

5
Udfordring

• Udviklingsbistand hvad er det lige det er?

6
1. Kontekst - I

• Mange aktører på giver- og modtagerside,
  divergerende mål og interesser
• Vægt på bæredygtighed, bygge kapacitet op til at
  klare sig selv
• Fra projekt til sektor til landet som helhed
  større kompleksitet
• Sikkerhed for usikkerhed

7
Kontekst - II

• Tradition for donor-drevet tilgang
  langtids-rådgivere, træning, udstyr
• Enstemmig dom det virker overvejende ikke!
• Danmark brugte ca. 500 millioner DKK på rådgivere
  i 2000 mange skulle bygge kapacitet op.
• Ingen systematiske evalueringer, ingen metoder
  for hverken rådgivere eller kapacitets-opbygning
  alt synes umåleligt
• Glasklokke-syndrom og narrativ tradition indtil
  2003

8
2. MetodeOrganisationer og forandring
9
Udfordring

• Kapacitetsopbygning eller kapacitetsudvikling
  hvad er kapacitet, hvad er opbygning, hvad er
  udvikling

10
The definitions...

• Capacity
• The ability of individuals and organisations
• to perform tasks and produce outputs...
• Capacity development
• The process by which people and organisations
• create and strengthen their capacity....
• Support to capacity development
• Inputs to capacity development processes
• delivered by external actors....

11
Basic analytical framework Organisation(s) as
open system(s)
12
Example Primary education sector
Population density, overall revenues..
Teachers Unions,
parents attitudes

Parliament, government, PTAs..

Ministry, Teacher Training Colleges, School
book providers, Construction units, Local
governments, School Units
Teacher trainees, Admin. Staff, Funds
Childrens learning demands satisfied
Children continue to enhance life skills
Adequate teaching supply
13
Harmony vs. conflict models

14
Typology of and examples of CD interventions
15
A search model for change options
Context
Organisation
Domestic actors
Indirect
Direct
Indirect
External forces
Incentives/pressure/support for change
16
Key factors for successful Capacity Development

• The commitment to change of key stakeholders
• The competitive pressure on the organisation(s)
• The incentive structures
• The scope of required change in relation to
  existing capacity
• The capacity to manage, lead and monitor CD
• The balance of push and pull elements in the
  support
• The scoping, sequencing, timing and process of
  interventions and support

17
Resultats-orientering

• Capacity changes will be manifest in changed
  outputs these are (largely) attributable to the
  organisation, outcomes are not
• Past output performance indicates likely scope
  and pace of future change and is a baseline

18
En udfordring fra Paris

• Capacity development is the responsibility of
  partner countries with donors playing a support
  role
• Paris Declaration 2006
• Implikationer for årsags-virknings-forståelse?
• Implikationer for evaluering?

19
3. Metode Evaluering
20
Hvad vil og kan vi måle?
Ændringer i services og produkter
Ændringer i organisationens kapacitet
(funktionelt og politisk)
Ændringer i konteksten Lokale eksterne
aktører Interne aktører i organisationen Ændringer
i resourcer Andre donorer Danida
21
Attribution eller contribution?

• Effektmåling ja men effekt af hvad?
• Lineær eller systemisk kausalitet?
• Hvem vil gerne ansvartilskrives hvem vil genre
  ansvarforskrive?
• Kan Danidas støtte effektmåles på andre niveauer?

22
4 faser

• Organise the evaluation process
• Get the facts What has changed?
• Begin analysing How have changes occurred?
• Reach conclusions Why have changes occurred,
  what can be learned?

23
Organise the evaluation process

• 1. Consider and clarify process and participation
  aspects of the evaluation.
• 2. Identify each target organisation(s) for
  Danish CD support (each one must be analysed
  separately)

24
Get the facts What has changed?

• 3. Identify changes at the output level of the
  involved organisations or units targeted for CD
  support
• 4. Identify changes in outcomes for clients/users
  
• 5. Identify changes in external factors which may
  have affected changes in capacity, outputs and
  outcomes
• 6. Identify changes in the capacity in the target
  organisation(s)
• 7. Identify changes in the inputs/resources of
  the target organisation(s)
• 8. Calculate and assess changes in the efficiency
  and effectiveness of the organisation(s)

25
Begin analysing How have changes occurred?

• 9. Identify, among the above factors,
  significant factors whose changes together
  explain changes in outputs
• 10. Identify all major CD support activities from
  all domestic or international sources which
  influence the significant factors identified in
  step 9.
• 11. Describe Danish CD support and analyse its
  efficiency, and immediate effects .
• 12. Identify the analytical and strategic basis
  for the Danish CD support

26
Reach conclusions Why have changes occurred?

• 13. Assess the extent to which capacity changes
  and changes in outputs in the target
  organisation(s) can be attributed to Danish CD
  support, to what degree to other factors. Assess
  the effectiveness of the Danish support.
• 14. Assess the technical, institutional and
  financial sustainability of the capacity and
  output changes
• 15. Extract lessons learned for partner,
  organisation(s), donor(s) and key stakeholders.

27
4. Er det muligt?

• Pilot-evaluering Støtte til vandsektoren og
  decentralisering i Ghana
• Voldsomt komplekse sektorer og dansk CD-støtte
  dårligt defineret
• Dækker helheden, logisk, systematisk, fokuserer
  på outputs
• Metoden er vanseklig, kræver mange data, og meget
  tid

28
Er det muligt og ønskeligt?

• Søger at måle, også hvor der ingen hypotese var
  om forandring
• Spiller bolden tilbage kapacitetsopbygning må
  tydeliggøres ift. konkrete mål og midler
• Det tager tid, er vanskeligt og kræver
  professionalisme, derfor
• Stærke incitamenter til fortsat at springe over!

29
5. Metode-refleksion

• Eksperimentelt paradigme stabilisér konteksten,
  variér den uafhængige variable, test variansen i
  den afhængige variable
• Dansk rådgiver gt Større lokal kapacitet
• Underliggende antagelse Modtager som passivt
  objekt snarere end handlende subjekt

30
Realistisk paradigme

• Mekanismekontekst gt resultat
• Lokale subjekterekstern støttekontekst gt
  resultat
• Ingen generalisering men læring
• Ingen tilskrivning til enkelt-faktor (e.g. dansk
  støtte)
• Systemisk snarere en lineær kausalitet