Presentacin Evaluacin de Impacto Programa Chile Joven Fase II

1
Presentación Evaluación de Impacto Programa
Chile Joven Fase II
2
Estructura de la Presentación

• I. Presentación de la Consultora
• II. Características de la Evaluación
• III. Aprendizajes y Lecciones

3
I. Presentación de Consultora
4
NUESTRA MISIÓN Santiago Consultores Asociados es
una sociedad de profesionales que brinda sus
servicios a instituciones, para el diseño,
implantación, seguimiento y evaluación de
proyectos y programas de carácter público, a
través de estrategias de trabajo formuladas y
ejecutadas en estrecha interacción con el
cliente, que asegure la agregación de valor de
manera sustentable.  
5
Áreas de Especialización

• Diseño y evaluación de políticas públicas y
  programas sociales, incluyendo diagnósticos y
  factibilidad desde una perspectiva de mercados
  relevantes.
• Diagnóstico y posicionamiento estratégico
  institucional, a través de la conformación de
  equipos de trabajo orientados a resultados y con
  capacidad de negociar con el entorno.
• Apoyo y seguimiento en la gestión de proyectos,
  mediante el fortalecimiento de capacidades
  comunicacionales y gerenciales.

6
II. Características de Evaluación
7
Antecedentes del Chile Joven

• Stock importante de jóvenes desocupados
• Cesantía explicada por falta de calificación y
  experiencia
• Actitudes juveniles favorables a la inserción
  laboral estable
• Necesidad de ingreso juvenil para presupuesto
  familiar

Diagnósticos cuantitativos y cualitativos
90s

• Diseño del Programa acorde a los diagnósticos
• Ejecuta, evalúa y rediseña periódicamente.

1991-1995
Primera Fase

• Rediseño no introduce cambios sustanciales a la
  Fase I
• Ejecución del Programa sin la realización de
  diagnósticos

1996-1999
Segunda Fase

• Flujo de jóvenes desocupados
• Cesantía no sólo explicada por falta de
  calificación
• Actitudes juveniles desfavorables a inserción
  laboral estable
• Baja la incidencia del ingreso juvenil en
  presupuesto familias

Diagnósticos cuantitativos y cualitativos
1997-1998
8
Contexto de la evaluación

• Se declara un cambio del objetivo del programa
  (orientación productiva)
• Existen cambios en la institucionalidad
• Existen cambios en el financiamiento
• No existen evaluaciones diagnósticas, ni
  rediseños sustanciales

Necesidad estratégica de evaluar la continuidad
del programa, para lo cual se determina su
impacto
9
Características del Programa
Jóvenes desocupados, subocupados o inactivos, de
bajos ingresos, fuera del sistema escolar y
preferentemente entre 15 y 24 años.
Población Objetivo

• Proporcionar habilidades para el desempeño en
  trabajos semicalificados
• Favorecer actitudes hacia el trabajo
• Ofrecer prácticas en empresas útiles como
  experiencia en el oficio.

Propósitos declarados
FOSIS y SENCE a cargo de los subprogramas y los
Organismos Técnicos ejecutan las actividades.
Instituciones Responsables
10
Modalidades Evaluadas
Capacitación y Experiencia Laboral (CEL)

• Capacitación a nivel de semicalificación,
  seguida por
• Práctica laboral en empresa .

• Capacitación a nivel de semicalificación
• Práctica laboral en empresa
• Ambas actividades con alternancia.

Aprendizaje Alternado (AA)

• Formación o apresto laboral,
• Capacitación a nivel de semicalificación,
• Práctica laboral en empresa
• Seguimiento a la colocación.

Formación y Capacitación de Jóvenes (FJT)
11
Objetivo General
Evaluar el resultado y tendencia de impacto de la
Fase II del Programa Chile Joven, identificando
Factores relevantes que condicionan la inserción
laboral y estudiantil de los jóvenes

• Niveles de satisfacción e integración social de
  los participantes

12
Objetivos Específicos

• Incidencia en desenlace ocupacional
• Incidencia en inserción estudiantil
• Niveles de focalización
• Nivel de satisfacción de los jóvenes
• Nivel integración social de los jóvenes

Evaluar

• Variables condicionantes de la inserción laboral
  o estudiantil

Identificar
Caracterizar

• Experiencia laboral post programa

13
Diseño del Estudio

• Levantamiento de hipótesis mediante entrevistas
  en profundidad a actores institucionales (SENCE
  FOSIS HACIENDA OTES Empresarios)
  Variables explicativas de impacto.
• Grupos de focos para testear y profundizar
  variables vinculadas con beneficiarios
  Variables categorizadas (encuesta).
• Encuesta a muestras de Beneficiarios y a Grupo de
  control comparable Evaluación
  de procesos e Impacto.
• Validación de Hipótesis, mediante modelos
  estadísticos de regresión logística
  Insumos para rediseño
• Paneles de Expertos Rediseño del
  Programa

14
Contenidos del Estudio
CONTENIDOS
OBJETIVOS
INSTRUMENTO
Determinación de posibles variables que inciden
en impacto
Grupos de Foco y Entrevistas en Profundidad
Metodología Cualitativa
Determinación de tendencias de impacto del
programa
Encuestas a grupo de beneficiario y grupo control
Metodología Evaluación de Impacto
Validación a través de modelos de regresión
logística
Análisis Estadísticos
Verificación de hipótesis de trabajo asociadas al
impacto

• Generación de elementos de rediseño

Recomendaciones
Paneles de expertos
15
Metodología de Evaluación de Impacto

• Metodología cuasi experimental, basada en la
  aplicación de instrumentos cuantitativos a
  muestras comparables de jóvenes participantes en
  el Programa (muestra de beneficiarios) y no
  participantes (muestra de control)

16
Variables Evaluadas

• Focalización
• Niveles de deserción
• Niveles de satisfacción
• Pertinencia del Programa

Variables de Proceso

• Situación ocupacional (porcentaje de ocupados,
  desocupados e inactivos)
• Tasas de ocupación y de desocupación
• Niveles de inserción estudiantil

Variables de Medición de Impacto

• Salarios
• Situación contractual

Calidad de los empleos
17
Diseño de la Evaluación
Identificar qué proporción de los cambios
observados en los niveles ocupacionales de los
beneficiarios, son atribuibles al Programa y qué
proporción a efectos del mercado o a las
fluctuaciones de la economía. Aislar los
efectos de la economía sobre la conducta
ocupacional de los beneficiarios Construye un
Grupo de Control que permitiera comparar el
cambio de la situación ocupacional del grupo de
beneficiarios, con el cambio sufrido por el
control en igual período
Efecto Programa
18
Condiciones

• Muestra probabilística
• Factores de expansión al U

Representatividad

• Metodología de construcción del grupo control
• Factor de ponderación

Comparabilidad

• Diseño de instrumentos
• Modalidad de trabajo de terreno
• Factor de ponderación

Minimizar sesgos
19
Representatividad
20
Muestras
Cada subprograma tuvo muestras de beneficiarios y
de control independientes y representativas del
Universo de inscritos
Muestra de Beneficiarios
Muestra Grupo Control
Diseño muestral probabilístico, a través de un
muestreo aleatorio simple para generar una
conformación proporcional al Universo.
Se obtuvo mediante sistema de empadronamiento de
vecinos de submuestras de beneficiarios de los 3
subprogramas evaluados.
21
Factor de Expansión
La conformación de las muestras de beneficiarios
obtenidas tengan la misma estructura que sus
respectivos Universo
Objetivo

• Aplica un Factor de Expansión a los datos de
  beneficiarios que incluye
• Sexo
• Edad
• Nivel Educacional

22
Comparabilidad
23
Determinación grupo de control

• Empadronamiento a vecinos de beneficiarios
  mediante una encuesta de filtro a través de un
  método preestablecido
• A partir de una submuestra de beneficiarios, los
  encuestadores aplicaron una encuesta de filtro a
  las viviendas de la cuadra de cada beneficiario
  seleccionado, partiendo en la dirección de los
  punteros del reloj y realizando salto sistemático
  cada tres viviendas
• Si no se obtuvo ningún miembro del grupo control,
  entonces, los encuestadores siguieron con el
  mismo procedimiento a través de las cuadras
  estrictamente aledañas a la del domicilio del
  beneficiario de referencia.

24
Encuesta de Filtro

• Sexo
• Tramo de edad

Restricciones asociadas al beneficiario pivote

• Estar desocupados, inactivos o subempleados en el
  período de ingreso promedio a los cursos
• No haber participado en educación formal diurna
  en igual período
• Tener entre 16 a 27 años
• No haber participado en el Programa

Restricciones Generales de Filtro
25
Ventajas
Ventajas y Desventajas de Metodología

• Grupos con características similares de acuerdo a
  variables de entrada al Programa
• Grupos con conformaciones homogéneas de acuerdo
  a ciertas variables sociodemográficas.
• Disminuye distorsión de factor de ponderación
• Asegura homogeneidad respecto a acciones de
  promoción de los cursos

Desventajas

• Costo mayor que otras alternativas
• No se asocia a eliminación de sesgo de selección
• No hay seguridad de la utilización del mismo
  Universo
• Efecto de memorización

26
Factor de Ponderación
Asegurar que la composición de los grupos sean
similares, en cuanto a la combinatoria de las
variables probadamente incidentes en la
probabilidad de obtención de empleo
Objetivo

• Sexo
• Edad
• Escolaridad
• Experiencia laboral
• Actitud hacia el empleo estable

Variables

• Compara los casos que, de acuerdo a la estructura
  generada por estas variables, tengan su correlato
  en sus grupos de referencia, eliminando los casos
  que no tienen "reflejo" en los grupos de
  comparación.
• Expande el grupo de control para hacerlo
  comparable al grupo de beneficiarios.

Acciones
27
Minimizar Sesgos
28
Diseño de Instrumento

• Preguntas estándar de empleo (utilizadas por INE)
• Cédula de entrevista estructurada
• Aplicada por encuestadores capacitados
• Categorías de respuesta exhaustivas y excluyentes
• Extensión moderada ( 60 variables) de
  instrumento
• Cédulas ad hoc a cada tipo de subprograma en
  estudio (6 cuestionarios)
• Proceso de validación de instrumentos (pre test)

29
Encuesta Piloto o Pre Tests

• Determinar si la secuencia temática y la
  estructura semántica de las preguntas dan cuenta
  adecuadamente de los objetivos del proyecto.
• Entregar información de la adecuación del
  lenguaje del cuestionario al nivel sociocultural
  de los potenciales encuestados.
• Sirve para estructurar ítemes complejos,
  formulando preguntas abiertas para establecer el
  posible rango de variabilidad en las respuestas

Tres pre-test o encuestas piloto a muestras de 10
casos por cada subprograma a estudiar, permite
30
Modalidad de Trabajo en Terreno

• El trabajo de campo se realizó durante los fines
  de semana y festivos, con el objeto de que las
  muestras, tanto de beneficiarios como de control,
  no se sesgaran hacia poblaciones inactivas o
  desocupadas.
•  Sistemas de control a través de supervisiones de
  sala y de terreno de las encuestas de los grupos
  de beneficiarios y de control

31
Factor de Ponderación
Hipótesis

• La valoración del empleo estable condiciona
• La decisión de participar en el programa (sesgo
  de selección)
• La probabilidad de búsqueda y de obtención de
  empleo

Una de las variables incorporada en el factor era
las actitudes hacia el empleo estable, las cuales
se midieron a través de una escala
32
Validación de Metodología desde Resultados
33
Resultados
34
Comportamiento del grupo control
La idoneidad del grupo control como un reflejo de
la economía en la población potencial objetivo
del Programa se sustenta en

• Comportamiento estable, es decir, sin grandes
  variaciones de los niveles ocupacionales pre y
  post programa
• Leves tendencias al descenso en los porcentajes
  de ocupados post programa, son consistentes con
  el momento previo a la crisis económica en el que
  se efectuó la encuesta
• Consistencia de los niveles de ocupación según
  situación de pobreza

35
Diferencias en Situación Pre
Opción de utilizar la variable experiencia
laboral y no situación laboral pre programa en
factores de ponderación

• La experiencia laboral se asocia más a la
  probabilidad de obtener empleo que la situación
  ocupacional de un momento puntual
• La variable de ocupación pre programa presenta
  mayor fragilidad que la de experiencia laboral,
  debido al efecto de memorización

36
Posibles sesgos en la evaluación de impacto
Situación ocupacional pre programa de ambos
grupos (beneficiario y control no homogénea)
Está resuelta por la inclusión en los factores
de ponderación de variables de ocupación pre
programa (experiencia laboral)
El grupo de beneficiarios tenía más
probabilidades de encontrar empleo, en tanto un
porcentaje mayor podía buscar
Sobreestimación esperable de resultados de impacto
37
III. Lecciones y aprendizajes
38
Respecto a Evaluación de Impacto
39
Se midió el impacto del Programa?
Se logró obtener las tendencias de impacto

• Incertidumbre metodológica asociada a la
  obtención efectiva de un grupo control (sesgo de
  selección)
• No se pudo precisar la problemática que generó la
  necesidad de implementar el programa (falta de
  diagnósticos y de línea base), así como tampoco
  identificar el cambio que se quería generar en el
  beneficiario

40
Cuál es el aporte de medir impacto?

• Evaluar los resultados de las intervenciones en
  sus objetivos declarados
• Genera conocimiento en términos de apoyar
  metodológica y conceptualmente futuras
  evaluaciones de impacto
• Se necesita un esfuerzo sostenido y de largo
  plazo (evaluaciones sistemáticas y recurrentes),
  para entregar señales para la evaluación de otros
  programa

Aporta

• Para la toma de decisiones de corto plazo
  asociadas a un rediseño dinámico de políticas y
  programas públicos

No aporta
41
Por qué no es una herramienta para la toma de
decisiones de corto plazo?

• Los tiempos de ejecución de los programas
  públicos no concuerdan con los tiempos óptimos
  para las evaluaciones de impacto, lo cual
  presenta variadas implicancias (rotación de
  equipos profesionales, atemporalidad de la
  información).
• Habitualmente no existen estándares de
  comparación para calificar positiva o
  negativamente los resultados obtenidos
• No da cuenta de la riqueza ni del espectro de
  variables que inciden en la ejecución de
  políticas públicas (relación Estado
  proveedores variables cualitativas asociadas a
  beneficiarios y participantes)
• Es altamente compleja y costosa.

42
Evaluación del Programa complementada
metodológicamente
43
Qué aportó la evaluación?

• Conocer las tendencias de impacto de los diversos
  subprogramas
• Conocer aspectos centrales de la ejecución del
  Programa focalización, satisfacción,
  pertinencia, condiciones laborales post
  programa, etc.
• Conocer los efectos de los incentivos económicos
  del Programa en la operación y focalización del
  mismo
• Se determinó que la focalización no sólo debía
  responder a criterios sociodemográficos, sino que
  debía incluir variables actitudinales
• Se determinó que la deserción no implicaba un
  fracaso, debido que los jóvenes utilizaban el
  Programa de acuerdo a sus necesidades (el impacto
  se mantenía)
• Se determinó la relevancia de las relaciones
  OTE-Estado y de la existencia de supervisiones
  asociadas a calidad en el impacto
• Se determinó la relevancia de incorporar al
  empresariado en la dinámica del Programa
• Introducir recomendaciones orientadas al rediseño
  del Programa

44
Estas conclusiones provienen de

• La complementariedad entre las técnicas
  cualitativas y cuantitativas utilizadas
• Incluir paneles y talleres de expertos en
  políticas públicas en momentos estratégicos de la
  evaluación (levantamiento de hipótesis de
  trabajo, análisis de los resultados, entrega de
  recomendaciones)
• Análisis de la encuesta de beneficiarios mediante
  modelos de regresión logístico

45
Lecciones

• Precisar la problemática de donde surge la
  intervención (línea base) y los resultados
  esperados por la misma (para qué)
• Precisar los supuestos bajos los cuales se diseñó
  la intervención, de modo de estudiar la
  estabilidad relativa de los mismos.
• Si la condición anterior se cumple (mantención de
  escenarios macroeconómicos), analizar la decisión
  de incorporar grupos de control.
• Utilizar enfoques metodológicos integrales
  (cualitativo-cuantitativo)
• Es necesario que la metodología genere compromiso
  de cambio, mediante la entrega de capacidades y
  herramientas a la contraparte para transformar
  las conclusiones en acciones de mejoramiento.
• Las evaluaciones de impacto deben entregar
  insumos para prever hitos o resultados que
  anticipen niveles de impacto, testeables a
  través de evaluaciones intermedias que permitan
  introducir rediseños pertinentes y oportunos