DIPLOMADO EN MONITOREO Y EVALUACI

1
DIPLOMADO EN MONITOREO Y EVALUACIÓN DE POLÍTICAS
PÚBLICASMÓDULO EVALUACIONES

• MAURICIO AGUILAR
• Noviembre de 2011

2
Objetivo General
El objetivo de esta clase es familiarizar a los
participantes con las principales metodologías de
evaluación exponiendo el conocimiento básico
requerido para poner en marcha ejercicios de
evaluación efectiva tanto al interior de las
entidades o a través de evaluadores externos.
3
Objetivos Específicos

• Al final del curso, los estudiantes estarán
  familiarizados con
• Conceptos y técnicas básicas en evaluación de
  programas.
• Cómo replicar el proceso de evaluación.
• Diferenciar entre tipologías de evaluación y su
  alcance.
• Cómo diseñar modelos de análisis y de recolección
  de información.
• Cómo utilizar los resultados en toma de
  decisiones de política

4
Metodología de trabajo

• Se realizarán presentaciones de los temas.
• Se conformarán grupos de trabajo.
• Se usarán estudios de caso como ejemplo durante
  la clase.
• Al final del módulo los grupos presentarán sus
  trabajos.

5
MOTIVACIÓN

• http//www.youtube.com/watch?vhJIMAHePjts

6
SESIÓN I

• LA EVALUACIÓN
• CONCEPTOS BÁSICOS EL CASO COLOMBIANO

7
Contenido
I. Qué es la evaluación de políticas públicas?
II. Enfoques de Sistemas de SE
III. Por qué el Gobierno evalúa las políticas
públicas?
IV. Fin y medios de la evaluación
V. Proceso de evaluaciones efectivas
VI. Hacia dónde vamos?
8
I. Qué es la evaluación de políticas públicas?

• El proceso encaminado a determinar sistemática y
  objetivamente la pertinencia, eficiencia,
  eficacia e impacto de las actividades a la luz de
  sus objetivos
• (ONU - 1984)
• Emitir juicios sobre el valor y el mérito de un
  programa o aspectos del mismo.
• (CIDEC)
• Es aquella evaluación que se emprende antes de
  iniciar un programa o proyecto para apreciar si
  están dadas las condiciones requeridas para su
  implementación, y eventualmente poder decidir
  acerca de su aprobación , perspectiva de éxito y
  resultados.
• Petra Tood Kenneth Wolpin
• University of Pennsylvania

9
I. Qué es la evaluación de políticas públicas?

• Valoración exhaustiva de la causalidad entre una
  intervención de Estado y sus efectos para
  determinar su relevancia, eficiencia,
  efectividad, impacto y sostenibilidad.
• (Documento Conpes 3294)
• La evaluación viene considerándose como el
  proceso sistémico de observación, medida,
  análisis e interpretación encaminado al
  conocimiento de una intervención pública, sea
  esta una norma, programa, plan o política, para
  alcanzar un juicio valorativo basado en
  evidencias, respecto de su diseño, puesta en
  práctica, efectos, resultados e impactos. La
  finalidad de la evaluación es ser útil a los
  decisores y gestores públicos y a la ciudadanía. 
• (Agencia Estatal de Evaluación de las Políticas
  Públicas y la Calidad de los Servicios)

10
I. Qué es la evaluación de políticas públicas?

• La evaluación es un análisis de un proyecto con
  el objeto de TOMAR UNA DECISION alrededor del
  mismo.
• Lo que implica

1. Cuantificar
2. Valorar
3. Comparar
11
II. Enfoques de Sistemas de SE

• El monitoreo y la Evaluación se han convertido en
  un instrumento constante de administración
  pública en Colombia y otros países en el mundo.
• Los bancos internacionales, BM, BID, ADB han
  contribuido no sólo al incremento de programas
  sociales sino también de evaluaciones alrededor
  del gasto público.

12
CONEVAL - MEXICO

• El Consejo Nacional de Evaluación de la Política
  de Desarrollo Social (CONEVAL) es un organismo
  público descentralizado de la Administración
  Pública Federal, con autonomía y capacidad
  técnica para generar información objetiva sobre
  la situación de la política social y la medición
  de la pobreza en México.

13
CONEVAL - MEXICO

• Objetivo Estratégico
• Mejorar la eficacia y eficiencia, así como la
  rendición de cuentas de la política de desarrollo
  social, mediante la evaluación y el monitoreo de
  programas y políticas sociales y la medición de
  la pobreza.

14
CONEVAL - MEXICO
El CONEVAL establece que contribuirá a mejorar el
desempeño y la rendición de cuentas de la
política de desarrollo social en la medida que
cumpla con los dos objetivos estratégicos
15
CONEVAL - MEXICO
16
CONEVAL - MEXICO
17
AEVAL - ESPAÑA

• La Agencia Estatal de Evaluación de las Políticas
  Públicas y la Calidad de los Servicios desarrolla
  una actividad institucional con el fin de mejorar
  la calidad de los servicios públicos,
  racionalizar el uso de los recursos públicos y
  rendir cuentas ante los ciudadanos. Tiene como
  propósito contribuir a

La evaluación se constituye una herramienta
esencial para conocer los efectos y resultados de
las intervenciones públicas.
18
AEVAL - ESPAÑA

• AEVAL considera la evaluación como
• Una actividad específica claramente diferenciada
  de otras como el control interno, la auditoría
  financiera, la auditoría de gestión o el control
  presupuestario.
• Una actividad institucional, enmarcada dentro de
  un proyecto político de gobernanza, modernización
  e innovación administrativa.
• La evaluación incorpora análisis basado en
  evidencias y no cabría sustituirla por una mera
  descripción o medición.
• La evaluación utiliza herramientas de las
  ciencias sociales (cuantitativas y cualitativas)
  y técnicas de la gerencia pública. Aplica de
  manera sistemática un método riguroso de
  tratamiento de la información.
• La evaluación puede referirse tanto al diseño
  como a la aplicación, desarrollo y finalización
  de una intervención pública.

19
AEVAL - ESPAÑA
Fases del proceso de evaluación en AEVAL
20
Otros países
El núcleo del sistema brasileño es el Plan
Plurianual (PPA) nacional, un programa de
desarrollo de cuatro años incluido en la
Constitución. El sistema de seguimiento y
evaluación vincula los resultados de la
evaluación con el plan de desarrollo y respalda
la creación de una cultura de evaluación para
mejorar la formulación de políticas y la
implementación y gestión de los programas. El
sistema de seguimiento y evaluación se concentra
en evaluar los objetivos y el desempeño de los
programas a lo largo de los límites
organizacionales y cubre todos los gastos
públicos, integrando cuentas corrientes y de
capital. Un sistema de información
centralizado, conocido como SIGPlan, divulga
datos e información desde el Ministerio de
Hacienda hacia el público y se hacen esfuerzos
por integrar los sistemas de información de los
ministerios sectoriales (INFRASIG) con SIGPlan a
fin de entregar una fuente de información más
unificada y facilitar con ello el uso del proceso
de seguimiento y evaluación en la toma de
decisiones pública.
21
Otros países
El Ministerio de Economía y Finanzas de Perú puso
en marcha el Sistema Nacional de Seguimiento y
Evaluación del Gasto Público (SSEGP) en 2004 como
parte de un esfuerzo mayor por promover la
gestión basada en los resultados. Sus objetivos
son mejorar la gestión pública entregando más
información sobre los resultados logrados a
través del gasto público. Los indicadores de
desempeño que se desarrollan a diferentes niveles
del gobierno nacional (sectores, organismos,
unidades orgánicas, etc.) se vinculan a productos
estratégicos. El sistema todavía se encuentra
en las etapas de desarrollo de modo que aún se
debe determinar una estructura de evaluación, que
incluya herramientas de evaluación y criterios
para definir los programas que serán evaluados.
22
A modo de conclusión
No existe una guía única para los países en
términos de lo que debería ser un buen sistema de
seguimiento y evaluación. Algunos países ponen
énfasis en un sistema de indicadores de
desempeño, mientras que otros se concentran en
llevar a cabo evaluaciones (revisiones de
programas o evaluaciones rigurosas sobre su
impacto). Algunos países han creado un enfoque
a nivel de todo el gobierno dirigido
principalmente por los ministerios de finanzas o
planificación, otros se han concentrado más en
los sistemas de seguimiento y evaluación
sectoriales.
23
II. Enfoques de Sistemas de SE
24
III. Por qué el Gobierno evalúa las políticas
públicas?

• En cumplimiento al mandato constitucional
  estipulado en el artículo 343 de la Constitución
  Nacional y en el artículo 29 de la ley 152 de
  1994.
• La evaluación le permite al Gobierno medir el
  avance de los compromisos que se fijó al inicio,
  conocer cómo va su gestión y tratar de corregir a
  tiempo los desaciertos.
• Tomar decisiones informadas y basadas en
  evidencias que permitan ajustar las políticas .
• Retroalimentar la formulación de política y los
  procesos de planeación.
• Establecer la existencia de efectos no esperados
  en la ejecución de un programa, los puntos
  críticos del mismo y las divergencias existentes
  con programas similares.
• Fortalecer la rendición de cuentas de las
  entidades y el ejercicio activo de control social.

25
III. Por qué el Gobierno evalúa las políticas
públicas?
Apoyar a que el gobierno mantenga el rumbo y
mejore el desempeño para alcanzar los objetivos
definidos en las políticas públicas
26
III. Por qué el Gobierno evalúa las políticas
públicas?
INVERSION PARA CONOCER
SEGUIMIENTO ARTICULADO A LA VISION
EVALUACIONES EFECTIVAS
COOPERACION HORIZONTAL
INDICADORES EFECTIVOS
RADAR DE EVALUACIONES
CULTURA DEL MONITOREO Y EVALUACION
OBSERVATORIO DE LA PERCEPCION DEL CIUDADANO
27
III. Por qué el Gobierno evalúa las políticas
públicas?
Para qué hacer seguimiento y evaluación de
políticas públicas?
Para cerrar el ciclo de las políticas públicas
28
III. Por qué el Gobierno evalúa las políticas
públicas?
Cómo se entienden las políticas Públicas?
Oferta y Demanda
Cómo saber cómo vamos?
Seguimiento
Cómo ser más eficientes y efectivos?
Evaluación
29
IV. Fin y medios de la evaluación
FIN
Mejorar el proceso de toma de decisiones de los
gestores de la Política Pública para que esta
incida efectivamente en un mayor bienestar de la
sociedad.
30
IV. Fin y medios de la evaluación
Ciclo de la Gerencia Pública
La evaluación de políticas públicas se hace
para Generar insumos para la toma de decisiones
de política. Verificar la eficiencia del gasto
en relación al logro de los objetivos de las
políticas. Identificar fortalezas y debilidades
en la implementación de las políticas.
Cuantificar los resultados de la inversión
pública .
31
IV. Fin y medios de la evaluación
FIN
Mejorar el proceso de toma de decisiones de los
gestores de la Política Pública para que esta
incida efectivamente en un mayor bienestar de la
sociedad.
Insumos
Procesos
Productos
Resultados
Impacto
La evaluación actúa teniendo como eje la Cadena
de Resultados de la Intervención del Estado
32
IV. Fin y medios de la evaluación
FIN
Mejorar el proceso de toma de decisiones de los
gestores de la Política Pública para que esta
incida efectivamente en un mayor bienestar de la
sociedad.
MEDIOS
Evaluación Ejecutiva
Resultados
Impacto
Insumos
Procesos
Productos
Evaluación de Impacto
Evaluación de Resultados
Evaluación Operaciones
Evaluación Institucional
33
IV. Fin y medios de la evaluación
Premisas Básicas Una buena evaluación es
aquella que se puede utilizar en el diseño y/o
rediseño de una política pública. Una
evaluación efectiva suele ser mejor cuando es
concebida desde el diseño de la política pública.
FORMULACIÓN DE POLÍTICAS PÚBLICAS Promover el
uso de la información resultado de las
evaluaciones en el diseño de las políticas
públicas Prever los elementos metodológicos en
la formulación para el diseño de líneas de base y
esquemas de seguimiento que hagan costo eficiente
las evaluaciones
EVALUACION DE POLÍTICAS PÚBLICAS Diseñar y
asesorar en el desarrollo de evaluaciones
costo-efectivas a las políticas
públicas Identificar esquemas de evaluación
costo-efectivos para el entorno
colombiano Analizar los resultados de las
políticas desde una orbita transversal en función
del desarrollo esperado del País
34
V. Proceso de Evaluaciones Efectivas

• La Dirección de Evaluación de Políticas Públicas
  desde el grupo de Evaluaciones es la encargada de
  liderar los proyectos de evaluación que se hacen
  a las políticas públicas más importantes que
  conforman el presupuesto de inversión.
• El objetivo es garantizar la calidad técnica de
  las evaluaciones, mediante el diseño de proyectos
  que permitan dar a partir de evidencias,
  respuestas pertinentes a los interrogantes de la
  política.

35
V. Proceso de Evaluaciones Efectivas
Las Evaluaciones son efectivas si estas llevan a
tomar decisiones EL RETO es llevarlas a este uso.
Area del Gobierno
Firmas externas
36
V. Proceso de Evaluaciones Efectivas
Fase 0
Selección de la política a evaluar

• Identificar las necesidades plurianuales de
  evaluación, partiendo desde la formulación del
  PND.
• Definir la agenda anual de evaluaciones
• Convocar el Comité Intersectorial de Evaluación.
• Presentación y aprobación de la agenda vía Conpes

Producto Agenda de Evaluaciones
37
V. Proceso de Evaluaciones Efectivas
Fase 1
Diseño de la Evaluación

• Cadena de valor
• Cadena de entrega
• Hipótesis
• Alcance
• Metodología
• Costeo
• Perfil equipo consultor
• Cronograma

Producto Diseño de la evaluación
38
V. Proceso de Evaluaciones Efectivas
Fase 2
Contratación

• Conformación comité de selección
• Elaborar los Términos de Referencia
• Apertura del proceso de selección
• Evaluación de propuestas técnicas
• Negociación de costo

Producto Términos de referencia
39
V. Proceso de Evaluaciones Efectivas
Fase 3
Ejecución
Producto Bases de datos y productos de la
consultoría
40
V. Proceso de Evaluaciones Efectivas
Fase 4
Uso de resultados
Producto Recomendaciones de política
41
V. Proceso de Evaluaciones Efectivas
Familias en Acción
42
V. Proceso de Evaluaciones Efectivas
Vivienda de Interés Social Urbano Fonvivienda
Medición de impacto
Primer seguimiento
Línea de Base
Recursos asignados
43
V. Proceso de Evaluaciones Efectivas
Costo del Programa vs. Costo de la evaluación
0.1
Recursos PGN ejecutados (2002-2008) y asignados
(2009 y 2010).
0.035
Recursos PGN ejecutados (2003-2008) y asignados
(2009 y 2010).
44
V. Proceso de Evaluaciones Efectivas
Costo y Tiempo Promedio

• Para la asignación de recursos a las
  evaluaciones, tenemos entre otros, dos
  consideraciones
• El monto MÁXIMO de las evaluaciones de una
  política no debe superar el 1 del valor
  invertido en la política (CONPES 3294)
• Existe un histórico de promedios por tipo de
  evaluaciones

45
VI. Hacia dónde vamos?
Cómo se articulan las evaluaciones dentro de la
nueva estrategia de SINERGIA?
46
VI. Hacia dónde vamos?
Entre 2004 y 2010, SINERGIA ha liderado la
realización de 49 evaluaciones con, las cuales se
han concentrado principalmente en la dimensión
de equidad.
Se proyecta para 2011 finalizar 15 evaluaciones
que vienen de las vigencias 2009 y 2010. La
agenda de evaluaciones para 2011 se estima en 55
evaluaciones
47
VI. Hacia dónde vamos?
La inversión en las 49 evaluaciones ha sido del
orden de los 27.000 millones. Producto de la
diversificación de metodologías, el valor
promedio de evaluación por año, ha disminuido de
1.750 a 345 millones.
48
VI. Hacia dónde vamos?
Portafolio de Productos
49
VI. Hacia dónde vamos?
Inversión PGN Inversión PGN
Dimensión Monto
Equidad 15.050.078.010.252
Administración del Estado 35.092.183.650.767
Competitividad 23.737.666.035.163
Total 73.879.927.696.182
50
VI. Hacia dónde vamos?

• Diversificar la agenda de evaluaciones,
  incluyendo sectores que tradicionalmente no
  participaban.

• De acuerdo con las temáticas de las bases del
  Plan Nacional de Desarrollo, la Agenda de
  Evaluaciones 2011 está compuesta por
• 16 Crecimiento Sostenible y Competitividad
• 18 Igualdad de Oportunidades
• 7 Consolidación de la Paz
• 14 Soportes Transversales

51
VI. Hacia dónde vamos?

• Consolidar la base de datos con las evaluaciones
  que otras entidades del Gobierno adelantan, a fin
  de garantizar los estándares internacionales de
  las evaluaciones (RADAR).
• Promover la Gestión por Resultados liderando la
  Red de Monitoreo y Evaluación de política Pública
  en Colombia.
• Articular las evaluaciones con dimensiones de
  análisis más amplias que el programa evaluado.
• Promover la realización de evaluaciones de las
  políticas en los gobiernos regionales y locales.

52
GRACIAS
DIRECCION DE EVALUACION DE POLITICAS
PUBLICAS DEPARTAMENTO NACIONAL DE
PLANEACION REPUBLICA DE COLOMBIA Tel (571) 381
5270 Email waguilar_at_dnp.gov.co