Evaluaci

1
Evaluación de Impacto Chile Solidario Primera
cohorte de participantes

• Osvaldo Larrañaga
• PNUD / Depto. Economía U.Chile
• Dante Contreras
• Banco Mundial / Centro de Microdatos, Depto.
  Economía U.Chile
• Jaime Ruiz-Tagle
• Centro de Microdatos, Depto. Economía U.Chile

2
Responsabilidades

• Los contenidos de la evaluación son
  responsabilidad de equipo PNUD.
• El trabajo inicial de preparación de las bases de
  datos y análisis de metodologías de impacto fue
  realizado junto a la División Social de Mideplan.
• Ver también tesis de magister U de Chile de
  Andrés Hojman (2008) y Fernando Hoces (2008)

3
Diagnóstico de inicios del 2000s

• Estancamiento en la reducción de la extrema
  pobreza
• Las familias por debajo de la línea de la extrema
  pobreza usaban en menor medida e intensidad los
  programas y servicios públicos existentes, ya sea
  por desconocimiento, falta de cupos o poca
  credibilidad en éstos.

4
Objetivos de Chile Solidario

• El objetivo es promover la incorporación de las
  familias en extrema pobreza a las redes sociales,
  mejorar su conocimiento sobre la oferta pública
  disponible y posibilitar su acceso a una mejor
  calidad de vida, de manera que superen la
  condición de indigencia.
• La condición de pobreza es considerada un
  problema multidimensional, caracterizada por
  bajos ingresos monetarios, escasa dotación de
  capital humano, débil capital social, y alta
  vulnerabilidad ante eventos como enfermedades,
  accidentes, cesantía y otros.

5
Componentes de Chile Solidario

• Apoyo Familiar que acompaña por dos años a las
  familias en fortalecimiento psico-social,
  inserción en programas de oferta pública y
  cumplimiento de condiciones mínimas.
• Acceso garantizado a subsidios monetarios (si
  elegibles) y a Bono de Protección Social y Bono
  de Egreso
• Acceso preferente a programas de la oferta
  pública
• Salud, educación, vivienda, dinámica familiar,
  empleo, capacitación e identificación.

6
Ámbito de la presente evaluación

• Evalúa la primera cohorte, que ingresa en 2002
• Evalúa las dimensiones de ingreso monetario,
  empleo y vivienda
• Un subconjunto de los objetivos del Programa
• Evalúa entre 15 y 48 meses de intervención
• Programa dura 5 años, los 2 primeros más
  intensivos

7
Selección de Beneficiarios

• Población meta alrededor de 210.000 familias en
  extrema pobreza
• Junio del 2008 278.548 familias egresados o
  participando (Base Puente)
• Implementación
• Puntos de corte comunales extrema pobreza, Casen
  2000
• Selección según percentil equivalente en ficha
  CAS
• Prioridad de entrada según puntaje CAS aún cuando
  hay traslape de puntajes en el tiempo por cambio
  de ficha CAS y, excepcionalmente, accesibilidad
  geográfica.

8
Distribución Participantes en año de entrada,
deciles Cas
Fuente Consolidados Cas y registros Chile
Solidario
9
Evaluación de impacto

• Impacto de un programa social efectividad en el
  logro de sus objetivos
• Desafío de la evaluación aislar el efecto del
  programa de otros determinantes de los resultados
• Grupo de control provee escenario contra-factual
• Metodología ideal experimento
• Práctica predominante cuasi-experimentos

10
Evaluaciones previas de Chile Solidario

• Galasso 2006 Perticara 2006 Carneiro-Galasso
  2007
• Impacto positivo en acceso a programas sociales y
  disposición psico-social. Sin evidencia clara de
  aumentos de ingreso y empleo, salvo áreas
  rurales.
• Basadas en Encuesta Panel Chile Solidario
  (2003-06) problemas de línea base y consistencia
  temporal en cuestionarios restan efectividad a la
  base de datos.

11
Esta evaluación usa Ficha CAS como Panel

• Ficha Cas evaluación socioeconómica de hogares
  para acceder a programas sociales entre
  1998-2006.
• Esta es la ficha CAS II, precedida por Ficha CAS
  I y seguida por FPS
• Cobertura de 40 de la población y cerca de 80
  en estratos de bajos ingresos. La ficha Cas tiene
  vigencia de dos años, requiriendo actualización
  continua
• Identificador individual permite construir panel
  ficha CAS, para ser utilizada en evaluación Chile
  Solidario

12
Metodología de evaluación

• Diferencias en diferencias (DD) cambio en
  resultado en el grupo de participantes (tratados)
  versus cambio en resultado en grupo de control
• antes-después, controlando por efectos
  ambientales
• Conclusiones dependen críticamente de la calidad
  del grupo de control
• Cuán bien aproxima la situación del grupo de
  tratado si este no hubiera participado en el
  programa

13
Limitaciones del panel Ficha Cas

• Restringe evaluación a variables en la Ficha
• Potencial sesgo de selección si no hay medición
  final
• Participantes requieren ficha CAS a la entrada y
  la salida
• Grupo de control podría excluir a dos tipos de
  familias
• (i) quienes mejoran nivel socioeconómico y no
  vuelven a tomar la entrevista (sobre-estimación
  impacto)
• (ii) quienes empeoran e ingresan a Chile
  Solidario en cohortes posteriores

14
Dimensiones de la evaluación

• Ingreso autónomo del hogar
• Número de personas ocupadas por hogar
• Indice de vivienda en base a siete variables
• Materialidad de la vivienda
• Infraestructura básica y sanitaria
• hacinamiento.

15
Construcción del grupo de control

• Cobertura universal en población de extrema
  pobreza dificulta construcción de grupo de
  control
• Variación de punto corte CAS entre comunas
  permite selección controles con similar CAS a
  tratados
• Para incluir como controles a participantes
  futuros se reduce mínimo de intervención a un año
  de dosis
• Reduce sesgo de selección para controles que
  empeoran y se incorporan al programa

16
Selección de participantes y controles

• Se consideran participantes que ingresan en 2002,
  con ficha CAS inicial seis meses antes de entrada
  y ficha CAS final después de un año de
  intervención
• Para seleccionar controles vecinos más cercanos
  según probabilidad de acceso (propensity score)
• Variables probit puntaje CAS, corte comunal CAS,
  cupos Chile Solidario en comuna, gestión comuna,
  sexo jefe, tamaño hogar, edad jefe, zona
• Gran cantidad de potenciales controles permite
  elegir un grupo similar en puntaje CAS y otras
  variables

17
(No Transcript)
18
(No Transcript)
19
(No Transcript)
20
(No Transcript)
21
Cambio en ingreso autónomo hogar (M)
22
Cambio en ingreso hogar según edad receptor bono
23
Cambio en ingreso hogar según intervalo medición
24
Cambio en ocupados por hogar
25
Cambio en ocupados por hogar según edad receptor
bono
26
Cambio ocupados hogar según intervalo medición
27
Cambio en índice de vivienda
28
Cambio en índice de vivienda según edad receptor
bono
29
Cambio en índice de vivienda según intervalo
medición
30
(No Transcript)
31
(No Transcript)
32
(No Transcript)
33
Conclusiones e Interpretaciones

• Cohorte 2002 presenta impacto positivo del
  programa en empleo y vivienda. En cambio, el
  impacto es negativo en ingreso autónomo.
• Resultados robustos a número de vecinos en
  matching
• Notar que participantes de Chile Solidario
  obtienen ganancias absolutas en todas las
  dimensiones evaluadas y para casi todos los
  subgrupos
• Las pérdidas en ingresos son relativas a grupo de
  control

34
Conclusiones e Interpretaciones

• Evaluación de ingresos excluye subsidios
  monetarios que podrían aumentar ingreso total
  del hogar y reducir ingresos autónomos por
  efectos sustitución
• Hay evidencia similar en programas de
  transferencias monetarias en otros países.
• Ello es también consistente con caídas absolutas
  de ingreso y empleo cuando el receptor del bono
  sobre 60 años

35
Conclusiones e Interpretaciones

• Impacto del programa es particularmente favorable
  en el caso de receptores del bono en edades
  intermedias (29 a 42 años) pero negativo para
  jóvenes y adultos mayores
• Impacto tiende a ser mejor en zonas rurales que
  urbanas
• Esta evaluación no incluye las dimensiones de
  acceso a programas ni la variable psico-social,
  que son objetivos directos de Chile Solidario