La participaci

1
Metodología de Evaluación y Seguimiento de las
Intervenciones Estructurales de la Política
Regional de la Unión Europea
Rubén Garrido Yserte Juan R. Cuadrado
Roura Universidad de Alcalá Instituto
Universitario de Análisis Económico y Social -
SERVILAB
2
La evaluación aspectos esenciales

• Qué es evaluar?
• VALORAR la calidad de las intervenciones
  públicas. POR TANTO NO ES FISCALIZACIÓN
• Resultados netos obtenidos (impactos)
• Desviaciones registradas sobre los objetivos
  previstos (eficacia)
• Coste relativo de la eficacia (eficiencia)
• Qué beneficios?
• Claridad en la administración de recursos
• Aumento de la cultura democrática ?Anglosajona
  versus latina
• Ha sido una de las aportaciones importantes de la
  PRC

3
La evaluación aspectos esenciales
Tipos de evaluación La UE ha optado por un
primer criterio temporal 1) Ex ante
(previa) sobre la selección de estrategia,
objetivos (cuantificación), instrumentos, costes
del programa. Fuerte contenido prospectivo 2)
On going (seguimiento) a mitad del período (3
a., con posible puesta al día en el 4º año).
Atención al nivel de ejecución, grado de
cumplimiento objetivos, detección de errores en
la programación. Finalidades a) corregir
desviaciones o errores con tiempo suficiente
todavía, y b) recoger información para la
evaluación ex post. 3) Ex post (a posteriori).
Valoración final de los resultados (año siguiente
al Programa), impacto, eficacia, eficiencia.
Fuerte contenido retrospectivo. Enfoques
básicos macro (modelos de impacto) micro
(estudio de casosseleccionados)
4
(No Transcript)
5
Fases de la Evaluación

• Evaluación previa
• Asegurar la evaluabilidad de la programación.
• Asegurar la integración de los principios
  horizontales.
• Se apoya en el Programapertinencia y
  previsiones.
• Evaluación intermedia
• Se apoya en el seguimiento (realizaciones).
• Previene desviaciones del Programa y ayuda a su
  corrección.
• Evaluación posterior
• Se apoya en la ejecución definitiva (financiera y
  física).
• Atiende a la estimación del impacto.

6
Evaluación por etapas

• Cuatro etapas con objetivos diferenciados
• Análisis de la puesta en marcha del programa ?
  Valoración de la calidad del diagnóstico y de la
  programación.
• Técnicas entrevistas con planificadores
  análisis de los programas estrategia,
  diagnóstico, justificación de las intervenciones
  objetivos, etc.
• Análisis de los resultados p/.beneficiarios.
• Técnicas análisis de expedientes
  administrativos encuestas a beneficiarios
  estudios especiales (coste-beneficio). Es
  importante diferenciar entre indicadores físicos
  (ej. km. autovía construídos) indicadores de
  resultados (ej. ahorro de tiempo viajes) e
  indicadores de impacto (ej. mejora accesibilidad
  del territorio)
• Análisis eficacia y eficiencia de las
  intervenciones Comparación entre objetivos
  previstos y resultados análisis del coste de los
  resultados (resultados recursos). Restricción
  existencia de información admtva. O de recursos
  para suplirla.
• Análisis del impacto socioeconómico intervención
• Impacto macro del total intervenciones. Técnicas
  muy variadas TI-O, modelos econométricos,
  análisis factorial, Restricción información
  disponible
• Conclusión tarea compleja, costosa en tiempo,
  pero IMPRESCINDIBLE.

7
Metodología Documentos de trabajo
Documentos elaborados por la Comisión para guiar
el proceso de programación y evaluación de los
programas cofinanciados con Fondos Europeos
http//europa.eu.int/comm/regional_policy/sources/
docgener/evaluation/evaluation_en.htm
8
La Evaluación Previa

• Objetivo de la evaluación previa en el contexto
  de las políticas estructurales.
• Componentes clave de la evaluación previa.
• Aspectos prácticos de la evaluación previa.
• Anexo I Modelización macroeconómica de los
  impactos de los principales planes del Objetivo
  nº 1 en el contexto de la evaluación previa.
• Anexo II Recursos humanos.
• Anexo III Estudio de impacto ambiental.
• Anexo IV Estudio del fomento de la igualdad de
  oportunidades para hombres y mujeres.
• Anexo V Estudio de los grandes proyectos.
• Anexo VI Documentos.

La evaluación previa de las intervenciones de los
Fondos Estructurales (documento de trabajo
2). Comisión Europea. Dirección General REGIO
9
Los Indicadores

• Disposiciones reglamentarias y marco de
  programación.
• Programación de las intervenciones de los Fondos
  Estructurales e indicadores de programa,
  eficacia, eficiencia y rendimiento.
• Elaboración de los sistemas de indicadores.
• Aplicación de los indicadores de seguimiento.
• Indicadores clave, indicadores de rendimiento y
  lista de indicadores.
• Resolución de los problemas derivados de la
  utilización de indicadores.
• Anexos Ámbitos de intervención e indicadores de
  seguimiento y evaluación.

Indicadores de Seguimiento y Evaluación
orientaciones metodológicas (documento de trabajo
3). Comisión Europea. Dirección General XVI.
10
La Lógica de las Intervenciones
11
Algunos conceptos claves de la evaluación

• Pertinencia en qué medida los objetivos del
  programa son pertinentes en relación con la
  evolución de las necesidades y las prioridades a
  escala nacional y comunitaria?.
• Eficiencia cómo se transformaron los recursos
  en realizaciones y resultados?.
• Eficacia cuál ha sido la contribución del
  programa a la consecución de los objetivos
  globales y específicos?.
• Utilidad qué impacto ha tenido el programa en
  la satisfacción de las necesidades de los grupos
  o poblaciones a los que se dirigía?.
• Durabilidad en qué medida se espera que los
  cambios o beneficios del programa se mantengan
  una vez finalizado el mismo?.

12
Qué solicita la Comisión en materia de
evaluación?

• Análisis de los resultados de la evaluación
  anterior (si la hay)
• Análisis dirigido a establecer si la evaluación
  previa sigue siendo válida en lo que se refiere
  a las ventajas, desventajas y potencial del
  Estado, región o sector beneficiarios
• Confirmación de la pertinencia y coherencia de la
  estrategia
• Cuantificación de los objetivos, realizaciones,
  resultados e impactos
• Evaluación de la eficacia y de la eficiencia
  hasta el momento, así como de los efectos
  socioeconómicos previstos, con vistas a una
  evaluación de la política y a la asignación de
  los recursos financieros
• Calidad de la ejecución y de los sistemas de
  seguimiento
• La reserva de eficacia
• Valor añadido comunitario

13
Cómo dar respuesta al marco conceptual elaborado
por la Comisión?

• Abordar el conjunto de obligaciones con una
  respuesta Integral y Continua Sistemas de
  Seguimiento y Evaluación Continuos
• DESARROLLAR SISTEMAS DE SEGUIMIENTO CONTINUO

14
Cuáles son los objetivos principales del Sistema
de Seguimiento Continuo?

• Proporcionar información sobre los resultados
  financieros y físicos de las intervenciones en
  curso
• Mejorar la eficacia y eficiencia en la
  programación y gestión de las intervenciones
• Mejorar la calidad de los informes exigidos por
  la Comisión
• Facilitar el trabajo de los Coordinadores,
  Gestores y Evaluadores
• En definitiva, ser una herramienta de
  conocimiento y gestión política integrada en las
  tareas diarias de la Administración

15
Esquema de distribución de las tareas básicas de
seguimiento y de evaluación
16
Cuáles son los inputs necesarios para el
seguimiento continuo y la evaluación?

• Definir el organigrama de la Administración
• Definir las acciones (CPO)
• Definir los indicadores de seguimiento
  (realización y resultado)
• Definir los indicadores de evaluación (impacto)
• Definir los indicadores del contexto
• Definir los indicadores específicos (Medio
  Ambiente, Igualdad de Oportunidades)
• Resultado del análisis DAFO (PO CPO)
• Árbol de Objetivos
• Vincular la asignación presupuestaria

17
Outputs esperados del seguimiento continuo y de
la evaluación
Seguimiento
Evaluación

• Seguimiento de recursos financieros
• Seguimiento de las realizaciones
• Respeto otras políticas comunitarias
• Sinergias con otras políticas regionales
  nacionales
• Participación en los objetivos estratégicos

• Análisis de la Pertinencia con el diagnóstico
• Análisis de Coherencia de la Estrategia
  (Sinergias)
• Valoración de la cuantificación de objetivos
• Valoración de la Eficacia y la Eficiencia
• Criterios de selección de acciones
• Calidad de la ejecución y de los sistemas de
  seguimiento
• La Reserva de Eficacia
• Estimación de impactos

18
(No Transcript)