Zastosowanie ewaluacji w planowaniu i zarzadzaniu programami operacyjnymi

1
Zastosowanie ewaluacji w planowaniu i zarzadzaniu
programami operacyjnymi

• Bartosz Ledzion b.ledzion_at_evaluation.pl
• EGO www.evaluation.pl

Do przygotowania prezentacji zostaly wykorzystane
materialy opracowane Karola Olejniczaka
2
Ogólna definicja ewaluacji
Uzycie zróznicowanych metod badan
spoleczno-ekonomicznych do systematycznego
zbierania danych, analizy, interpretacji, oceny i
informowania o jakosci i wartosci programów
publicznych Patton 2004 Rossi et al. 1999
Mathison 2004 Weiss 1998
3
Zastosowanie ewaluacji

• Zastosowanie ewaluacji w Unii Europejskiej 3
  aspekty
• Ewaluacja programów krajowych
• Ewaluacja w UE
• Ewaluacja programów UE na poziomie UE (Komisji)
• Ewaluacje programów UE na poziomie krajowym
• Fundusze Strukturalne
• Programy pomocy zewnetrznej

4
Zastosowanie ewaluacji

• Rózne tradycje i kultury ewaluacji
• Dluga tradycja i wysoka kultura UK, NL, DE, FR,
  SE
• Brak tradycji wysoka kultura ewaluacji IE,
  AT, IT
• Brak tradycji, slabe uzycie ewaluacji GR, ES,
  PT
• Kraje przejsciowe PL, CZ, HU, SK, SI, kraje
  baltyckie
• Komentarz
• Wyrazny podzial Pólnoc vs. Poludnie
• Czesc z krajów ma silna tradycje audytu/ewaluacji
  (wynika to glównie z nowego podejscia w
  zarzadzaniu administracja publiczna zadaniowe,
  poprzez cele)
• Do krajów poludnia Europy i NMS ewaluacja
  przyszla z zewnatrz (srodki pomocowe USAid, World
  Bank, UE)
• Glówny czynnik promowania fundusze strukturalne

5
Poza funduszowe determinanty rozwoju ewaluacji

• Przyczyny reform zarzadzania
• L.80-te podwojenie budzetu UE ? Jak
  zagwarantowac efektywnosc i racjonalnosc
  wydatków?
• L.90-te podsumowywanie starych polityk i nowa
  5-latka ? Co mozna zrobic lepiej?
• Koniec l.90-tych Kryzys instytucjonalny KE ? jak
  uniknac blamazu, naduzyc, zlego zarzadzania?
• Reformy
• Wieloletnie planowanie budzetowe (od 1988r)
• Planowanie strategiczne (od polowy l.90-tych)
• New EU Governance (od 2000r)
• Reformy Komisji Europejskiej (Sound Efficient
  Management 2000)
• Wprowadzenie Zarzadzania Opartego na Dzialaniach
  (Ativity Based Management) (od 2000r)
• Silniejsza kontrola, monitoring, ewaluacja

6
Funkcje ewaluacji w zakresie poprawy procesu
zarzadzania interwencjami publicznymi

• Poprawianie planowania
• zagwarantowanie uzasadnienia dla
  polityki/programu
• oraz wydajnej i racjonalnej alokacji zasobów
• Poprawa wdrazania i kontroli jakosci
• podnoszenie jakosci struktur zarzadzania
  programem
• oraz samego procesu implementacji dzialan
• minimalizowanie negatywnych efektów zarzadzania
  opartego na wynikach
• Wzmacnianie odpowiedzialnosci
• informowanie spoleczenstwa na ile cele programu
  zostaly osiagniete i
• jak efektywnie uzyto przypisanych zasobów
  publicznych

7
Funkcje ewaluacji w zakresie poprawy procesu
zarzadzania interwencjami publicznymi

• Wspieranie procesów uczenia sie
• wyjasnianie czynników i procesów warunkujacych
  sukces programu lub jego porazke,
• weryfikowanie teorii stojacych za politykami
• promowanie dobrych wzorców
• Wzmacnianie partnerstwa i poczucia wspólwlasnosci
• wzmacnianie powiazan, interakcji miedzy
  uczestnikami programu
• aktywizowanie interesariuszy wlaczanie ich w
  dzialania programu, dyskusje nad jego ocena
• uprawnianie interesariuszy wlaczanie we
  wspóldecydowanie o programie tych grup, które
  byly marginalizowane

8
Funkcje ewaluacji - dylematy wyboru cos za cos
Orientacja na biezace zarzadzanie
Orientacja na ocene efektów
Zródlo Olejniczak K. (2008) Mechanizmy
skutecznego wykorzystania ewaluacji. Studium
przypadku programów INTERREG, Wydawnictwo Naukowe
Scholar, Warszawa
9
Ewaluacja a cykl projektu / programu
Zródlo KE EuropeAid 2004
10
Potrzeby informacyjne

• Potrzeby a typy czasowe ewaluacji
• Badanie ex ante
• Racjonalnosc i spójnosc planu (a priori efekty)
• Przygotowanie systemu wdrazania (a priori procesy
• Baza dla porównan (konktest i punkt wyjscia)
• Badanie biezace (on-going)
• Poprawa procesu ALBO
• Baza dla porównan (na poczatku prog.) ALBO
• Ocena pierwszych efektów (zaawansowany prog.)
• Badanie ex post
• Ocena rzeczywistych efektów
• Zweryfikowanie relacji przyczynowo-skutkowej

11
Zakres ewaluacji ex ante

• Cel
• dostarczenie podstaw do przygotowania planów
• weryfikacja przygotowanych planów wstepnych
• A konkretnie ma uwzglednic
• kompleksowe oddzialywanie interwencji
• logike i wewnetrzna spójnosc interwencji
• osiaganie celów zdefiniowanych planach
• poprawnosci kwantyfikacji celów (wskazniki
  produktu, rezultatu i oddzialywania)
• skutki oddzialywania realizacji interwencji na
  sytuacje spoleczno-gospodarcza obszaru lub
  sektorów objetych programem
• analize mocnych i slabych stron panstwa, regionu
  lub sektora

12
Zakres ewaluacji on-going

• Cel
• wsparcie w trakcie procesu wdrazania programów
• element przyszlej ewaluacji ex post
• biezaca weryfikacja racjonalnosci dzialan
• A konkretnie dotyczy
• kwestii szczególowych, sluzacych identyfikacji
  doswiadczen
• kwestii tematycznych, horyzontalnych, sektorowych
  i regionalnych
• wyjasnienia i rozwiazania problemów pojawiajacych
  sie w trakcie wdrazania
• oceny aktualnosci i spójnosci wdrazanej strategii
• oceny funkcjonowania systemu realizacji (w tym
  monitorowania)
• oceny skutecznosci w zakresie osiagania
  zalozonych celów
• oceny wstepnych wyników pomocy i ich przydatnosci

13
Zakres ewaluacji ex post

• Cel
• Ocena koncowa i podsumowanie programu
• Szersze wnioski na przyszlosc
• A konkretnie ma objac
• badanie i ocenie skutecznosci pomocy
• badanie i ocene wydajnosci pomocy
• badanie i ocene wykorzystania srodków
• badanie i ocenie oddzialywania pomocy na sytuacje
  spoleczno-gospodarcza
• analize czynników przyczyniajacych sie do sukcesu
  lub niepowodzenia wykonania programu,
• analize i ocene osiagniec i rezultatów, oraz ich
  trwalosc
• ocene funkcjonowania systemu realizacji
• wnioski dotyczace dalszej polityki,
  przystawalnosci teorii

14
Najpowazniejsze ograniczenia rozwoju ewaluacji

• powszechny i wyrazny jest problem warsztatu
  metodologicznego dominuja metody jakosciowe.
  Brak wypracowanych zróznicowanych metod oceny
  efektów interwencji publicznych.
• Istnieje powazny problem z danymi w ewaluacji z
  zasady punktem wyjscia sa dane z monitoringu, co
  wiecej do oceny efektów potrzeba punktu
  odniesienia. Tymczasem w krajowej praktyce
  powszechnym jest brak spójnych, aktualnych danych
  z monitoringu, polaczony z ciaglymi zmianami
  krajowych statystyk.
• Po stronie popytu ograniczona jest racjonalnosc
  zadawanych pytan badawczych - ich przedwczesnosc,
  niedostosowanie zakresu badan do danego czasu i
  budzetu.
• Po stronie podazy zaskakuje incydentalny udzial
  instytucji naukowych, a z drugiej strony brak
  duzych graczy z grona firm konsultingowych.

15

• Bardzo dziekuje za uwage