SISTEMA DE EVALUCION

1
Econ. Paul Amoretti Ismodes
EVALUACION DE POLÍTICAS PÚBLICAS
2
Objetivo 1. Erradicar la pobreza extrema y el
hambre

• Meta 1 Reducir a la mitad entre 1990 y 2015 el
  porcentaje de personas con ingresos inferiores a
  un dólar
• 1. Porcentaje de la población con ingresos
  inferiores a 1 dólar por día (Banco Mundial)
• 2. Coeficiente de la brecha de la pobreza a 1
  dólar por día (Banco Mundial)
• 3. Proporción del ingreso o consumo que
  corresponde a la quinta parte más pobre de la
  población (Banco Mundial)
• Meta 2 Reducir a la mitad, entre 1990 y 2015, el
  porcentaje de personas que padezcan hambre4.
  Prevalencia de niños menores de 5 años de peso
  inferior a lo normal (UNICEF)
• 5. Porcentaje de la población por debajo del
  nivel mínimo de consumo de energía alimentaria
  (subnutrición) (FAO)

3
Objetivo 2. Lograr la enseñanza primaria universal

• Meta 3 Velar por que, para el año 2015, los
  niños y niñas de todo el mundo puedan terminar un
  ciclo completo de enseñanza primaria6. Tasa neta
  de matrícula en la escuela primaria (UNESCO)
• 7. Porcentaje de los estudiantes que comienzan el
  primer grado y llegan al quinto grado de la
  escuela primaria (UNESCO)
• 8. Tasa de alfabetización de las personas de
  edades comprendidas entre los 15 y los 24 años
  (UNESCO)

4
Objetivo 3 Promover la igualdad entre géneros y
la autonomía de la mujer

• Meta 4 Eliminar las desigualdades entre los
  géneros en la enseñanza primaria y secundaria,
  preferiblemente para el año 2005, y en todos los
  niveles de la enseñanza antes del fin del año
  20159. Relación entre niñas y niños en la
  educación primaria, secundaria y superior
  (UNESCO)
• 10. Relación entre las tasas de alfabetización de
  las mujeres y los hombres de edades comprendidas
  entre los 15 y los 24 años (UNESCO)
• 11. Proporción de mujeres entre los empleados
  remunerados en el sector no agrícola (OIT)
• 12. Proporción de puestos ocupados por mujeres en
  el parlamento nacional (IPU)

5
Objetivo 4 Reducir la mortalidad infantil

• Meta 5 Reducir en dos terceras partes, entre
  1990 y 2015, la mortalidad de los niños menores
  de 5 años13. Tasa de mortalidad de los niños
  menores de 5 años (UNICEF)
• 14. Tasa de mortalidad infantil (UNICEF)
• 15. Porcentaje de niños de 1 año vacunados contra
  el sarampión (UNICEF)

6
Objetivo 5. Mejorar la salud materna

• Meta 6 Reducir, entre 1990 y 2015, la mortalidad
  materna en tres cuartas partes16. Tasa de
  mortalidad materna (OMS)
• 17. Porcentaje de partos con asistencia de
  personal sanitario especializado (UNICEF)

7
Objetivo 6. Combatir el HIV/SIDA, el paludismo y
otras enfermedades

• Meta 7 Haber detenido y comenzado a reducir,
  para el año 2015, la propagación del VIH/SIDA18.
  Tasa de morbilidad del VIH entre las mujeres
  embarazadas entre los 15 y los 24 años de edad
  (ONUSIDA)
• 19. Uso de preservativos dentro de la tasa de uso
  de anticonceptivos y Población de 15 a 24 años
  que tiene conocimientos amplios y correctos sobre
  el VIH/SIDA
• 20. Relación entre la matrícula de niños
  huérfanos y la matrícula de niños no huérfanos de
  10 a 14 años (ONUSIDA)
• Meta 8 Haber comenzado a reducir, para el año
  2015, la incidencia del paludismo y otras
  enfermedades graves21. Tasa de prevalencia y
  mortalidad palúdicas (OMS)
• 22. Proporción de la población de zonas de riesgo
  de paludismo que aplica medidas eficaces de
  prevención y tratamiento del paludismo (UNICEF)
• 23. Tasa de prevalencia y mortalidad de la
  tuberculosis (OMS)
• 24. Proporción de casos de tuberculosis
  detectados y curados con el tratamiento breve
  bajo observación directa (OMS)

8
Objetivo 7. Garantizar la sostenibilidad del
medio ambiente

• Meta 9 Incorporar los principios del desarrollo
  sostenible en las políticas y los programas
  nacionales e invertir la pérdida de recursos del
  medio
• Meta 10 Reducir a la mitad, para el año 2015, el
  porcentaje de personas que carezcan de acceso
  sostenible a agua
• Meta 11 Haber mejorado considerablemente, para
  el año 2020, la vida de por lo menos 100 millones
  de habitantes de tugurios

9
Objetivo 8. Fomentar una asociación mundial para
el desarrollo

• Meta 12. Desarrollar aún más un sistema comercial
  y financiero abierto, basado en normas,
  previsible y no discriminatorio .
• Meta 13. Atender las necesidades especiales de
  los países menos adelantados.
• Meta 14. Atender las necesidades especiales de
  los países sin litoral y de los pequeños Estados
  insulares en desarrollo.
• Meta 15. Encarar de manera general los problemas
  de la deuda de los países en desarrollo con
  medidas nacionales e internacionales a fin de
  hacer la deuda sostenible a largo plazo.
• Meta 16. En cooperación con los países en
  desarrollo, elaborar y aplicar estrategias que
  proporcionen a los jóvenes un trabajodigno y
  productivo.
• Meta 17. En cooperación con las empresas
  farmacéuticas, proporcionar acceso a los
  medicamentos esenciales en los países en
  desarrollo.
• Meta 18. En colaboración con el sector privado,
  velar por que se puedan aprovechar los beneficios
  de las nuevas tecnologías, en particular de las
  tecnologías de la información y de las
  comunicaciones.

10
(No Transcript)
11
(No Transcript)
12
(No Transcript)
13
Concepto de evaluación
Comparación de Comparación de Comparación de
Lo Planificado Lo realizado
Objetivos Objetivos
Costos Costos
Tiempo Tiempo
El logro de lo planificado es la medida de la performance del proyecto El logro de lo planificado es la medida de la performance del proyecto El logro de lo planificado es la medida de la performance del proyecto
14
Evaluación requisitos esenciales

• Que exista una planificación elaborada, que
  permita la comparación de lo ejecutado con lo
  planificado
• Que se genere la información necesaria y oportuna

El sistema de M E es en esencia, información
15
(No Transcript)
16
Preguntas fundamentales

• Cómo está funcionando la Política Pública?
• Se logró o no el cambio deseado?
• Si se logro el cambio, en que medida puede ser
  atribuido a la Política Pública?

17
Por qué evaluar?
EVALUACIÓN
Mostrar resultados Transparencia Accountability
Mejorara calidad de la vida Lecciones de la
experiencia
Pasado
Presente
Futuro
18
Para qué sirve la evaluación?

• Informar sobre el avance de la Política Pública
• Mantener la ejecución de la Política Pública en
  línea con lo planificado
• Examinar la estrategia de la Política Pública
• Realizar los ajustes que sean necesarios
• Aprender de las experiencias para mejorar la
  gestión

19
Monitoreo vs. Evaluación

• Seguimiento periódico de actividades
• Utiliza indicadores de proceso, principalmente
• Busca hacer correcciones y ajustes a tiempo
• Es paralela a la ejecución del plan/proyecto
• Es función de la Gerencia
• Es administración

• Es más episódica
• Utiliza indicadores de resultados, efecto e
  impacto
• Busca extraer lecciones para futuras
  intervenciones suele ser retrospectiva
• Es función del Directorio
• Es Planeamiento Estratégico

Ambos son instrumentos de gestión
20
Indicadores rol clave
Información sobre la ejecución de la Política
Pública
INDICADORES
PLANIFICADO
REALIZADO
Los indicadores resumen la información necesaria
para realizar la comparación objetiva entre lo
planificado y loa realizado
21
Sistema de información gerencial

• El sistema de Monitoreo y Evaluación es un
  sistema de información gerencial

• Porque es información sobre ejecución
• Porque es información resumida en indicadores
• Porque contiene los indicadores necesarios para
  la toma de decisiones

22
Tipos de evaluación
TIPO FRECUENCIA INDICADORES PROPOSITO
De Impacto Baja, luego de un tiempo de maduración Cambios sustentables en el nivel de la población objetivo Estimar impacto en la población
De Resultados Anual o al final del Proyecto Productos o resultados propuestos Evaluar cumplimiento de los objetivos específicos o productos ofrecidos
De Procesos Alta (mensual, trimestral) Actividades realizadas, gastos ejecutado (indicadores de proceso) Estimar avance (monitoreo)
23
Evaluación de proceso

• La evaluación de procesos permite conocer la
  dinámica de implementación de actividades
• Cantidad de actividades realizadas
• Calidad de las actividades
• Reacción de la población objetivo (Satisfacción
  de usuario/cliente)

24
Evaluación de procesos preguntas clave

• Cuánto hemos hecho?
• Qué tan bien lo hemos hecho?
• Cuánto ha costado?
• Cómo podríamos mejorar?

25
Evaluación de procesos ventajas y desventajas

• Se enfoca exclusividad en la implementación de
  las actividades
• No investiga la medida en que las actividades han
  generado resultados
• Unidad básica identifica aspectos exitosos y
  aspectos deficientes, con la finalidad de
  realizar cambios en la programación (decisiones
  operativas)
• De utilidad principal para la institución
  ejecutora

26
Evaluación de resultados

• Permite determinar el grado de logro de los
  objetivos
• Los objetivos se refieren, por lo general, a
  cambios en el bienestar de la población
• Empleo e ingresos
• Accesos a servicios
• Derechos políticos
• Método general de medición comparación
  antes/después
• Alternativamente fijación de metas

27
Evaluación de impacto

• Permite determinar la relación causa efecto
  relación entre resultados y las intervenciones
  públicas
• Metodología general. Construcción de escenarios
  contrafactual o comparación con/sin
• Pregunta clave Qué habría ocurrido si no se
  hubiera ejecutado la intervención?

28
Evaluación de Impactos
Determinación del impacto del programa
Determinación y valoración de la eficacia del
programa
Es Eficaz
No es Eficaz
Análisis de la eficiencia
Análisis de las causas de la ineficacia
Ineficiente
Eficiente
Diseño del programa
Contexto socioeconómico
Causas
Gestión
Análisis de las causas de ineficiencia
Conclusiones, recomendaciones y aprendizajes
29
(No Transcript)
30
Cómo diseñar una evaluación?

• Determinar (o aclarar) los objetivos del
  plan/proyecto, que serán, al mismo tiempo los
  objetivos de evaluación
• Determinar el tipo de evaluación a realizar y la
  metodología correspondiente
• Identificar los indicadores, según el tipo de
  evaluación
• Recopilar información y elaboración del informe
  de evaluación

31
Paso 1 determinar objetivos de la evaluación

• Se realiza sobre la base del Marco Lógico
• Por lo general, existen 4 tipos de objetivos
  fin, propósito, productos y actividades
• Dependiendo del tipo de evaluación que se quiera
  realizar, se elegirá uno u otro tipo de
  objetivos.
• Idealmente
• A quién? Población objetivo
• Qué? Cambio deseado
• Cuánto? Magnitud esperada del cambio
• Cuándo? Horizonte temporal

32
Paso 2 determinar el tipo de evaluación a
realizar y la metodología correspondiente

• Las evaluaciones pueden ser de procesos, de
  resultados y de impacto.
• En planes y políticas, se utilizan evaluaciones
  de impacto y resultados
• En programas y proyectos se utilizan,
  principalmente evaluaciones de procesos y
  resultados

33
Paso 3 identificar los indicadores, según el
tipo de evaluación

• Para identificar y seleccionar los indicadores se
  toma en consideración
• El tipo de evaluación elegido
• Criterios genéricos de selección de indicadores
• La data existente y la que podría obtenerse a
  costo razonable

34
Paso 4 recopilar la información, sobre base de
los medios de verificación establecidos

• Para cada indicador es necesario recolectar datos
  de alguna fuente
• Fuentes de datos cuantitativos
• Entrevistas estructuradas
• Estadísticas de servicios (datos administrativos)
• Técnicas cualitativas más importantes
• Entrevista en profundidad
• Grupos focales
• Observación directa

35
Paso 5 análisis de la información y elaboración
del informe de evaluación

• Técnicas de análisis cuantitativo, basados en
  métodos estadísticos
• Técnicas de análisis cualitativo
• Análisis de casos
• Análisis de contenido
• El informe de evaluación debe ser parte de una
  estrategia de difusión

36
MONITOREO Y PLAN OPERATIVO

• Plan Operativo
• Actividades programadas
• Costos previstos
• Mestas estructuradas
• Tiempo previsto
• Responsables asignados

PLANIFICADO

• Monitoreo
• Procesos realizados
• Costos efectuados
• Mestas obtenidas
• Tiempo real
• Responsabilidades reales

REALIZADO
37
Programación

• El objetivo de la programación es la optimización
  de la utilización de los recursos, de tal forma
  que se cumplan los objetivos de la Política
  Pública.

38
Plan Operativo

• Es el documento que precisa las actividades del
  plan o proyecto y su cronograma
• Los objetivos son los que contiene el documento
  de plan o proyecto aprobado. Esto no puede ser
  variado bajo ninguna circunstancia
• Las actividades son aquellas previstas en el
  documento del plan o proyecto
• Se incorporan sub-actividades o tareas, las
  cuales en el documento del plan o proyecto aún no
  figuraban, debido a la falta de elementos
  suficientes para especificarse
• Se especifican las metas, las cuales se expresan
  numéricamente a través de los indicadores
• Se incorpora un cronograma de las actividades,
  trimestral, mensual

39
Elaboración del Plan Operativo

• Ordenar las actividades según componentes,
  desagregar las actividades en tareas y
  codificarlas
• Ubicar las metas señaladas en el marco lógico
  para cada actividad o tarea
• Estimar la duración de cada actividad y definir
  el calendario de trabajo
• Determinar quienes serán los responsables de cada
  actividad y tarea
• Definir los costos por componente, actividad y
  tarea

40
Contenido principal del plan operativo

• Introducción
• Objetivos y actividades
• Cronograma de actividades
• Cronograma de gastos
• El control de los riesgos y las condiciones de
  éxito

41
Informe de monitoreo

• I. RESUMEN NARRATIVO
• Resultados logrados
• Efectos no previstos
• Problemas internos
• Problemas externos
• Posibilidad de éxito del plan o proyecto
• II. CRONOGRAMA DE ACTIVIDADES PROGRAMADAS Y
  REALIZADAS
• III. CRONOGRAMA DE DESEMBOLSOS PROGRAMADOS Y
  EJECUTADOS

42
Evaluación Integral
NECESIDADES PROBLEMAS
IMPACTOS
SOCIEDAD
ACCIÓN PÚBLICA
OBJETIVOS
INSTRUMENTOS
RESULTADOS
EFICIENCIA
RACIONALIDAD
EVALUACIÓN DE GESTIÓN (PROCESO)
COHERENCIA
EVALUACIÓN
EFICACIA
EVALUACIÓN DE IMPACTOS
METAEVALUACIÓN
SÍNTESIS DE EVALUACIONES
EVALUABILIDAD