Avalia

1
Avaliação de Impacto do Projeto de Combate à
Pobreza Rural (PCPR)

• Claudia Romano
• Fátima Amazonas, Túlio Barbosa, Hans Binswanger,
  Alberto Costa, Naércio Menezes, Elaine Pazello

2
Sumário da Apresentação

• O que é o PCPR
• Desenho do Estudo
• Principais desafios e Métodos utilizados para
  lidar com estes desafios
• Principais Resultados
• Capital Social
• Implicações para Políticas Públicas

3
O que é o PCPR

• Programa opera na zona rural do Nordeste desde
  1993 baseado na demanda comunitária.
• Financia pequenos projetos comunitários, de
  infraestrutura, produtivos e sociais.
• Exemplos pequenos sistemas de abastecimento de
  água eletrificação casa de farinha
  beneficiamento mel centro comunitário

4
O Programa opera em grande escala(1993 a 2005)
5
Qual a pergunta? Como responder?

• Definição do que o estudo deve responder
• Compreensão do funcionamento do Projeto

6
Desenho do Estudo Aspectos gerais

• Pergunta impacto do programa sobre acesso a
  serviços de infra-estrutura, ativos, saúde, e
  capital social ?
• Note diferente de perguntar se processo CDD é
  melhor do que benefícios distribuídos
  aleatoriamente

7
Desenho do EstudoAspectos gerais

• Amostra 864 domicílios entrevistados em 2005 em
  54 comunidades tratamento e 54 controle 8
  domicílios por comunidade
• Abrangência Ceará, Piauí e Rio Grande do Norte
• Análise sobre impacto entre 2002 e 2005

8
Principais Desafios do Estudo

• (1) Viés de Seleção
• (2) Falta de Perfil de Entrada
• (3) Qualidade dos Dados

9
Principais desafios para desenho do estudo (1)
Viés de seleção

• O PCPR estimula comunidades a se
  auto-selecionarem, portanto
• Comunidades que obtém subprojetos são mais
  capacitadas, têm melhor capital social,
  possivelmente maior renda e riqueza do que as
  comunidades não-beneficiadas
• Portanto, temos um viés de seleção positivo

10
Método Reduzindo o viés de seleção- 3 métodos em
4 etapas

• 1) Método amostragem pipeline (lista de
  espera)
• tratamento selecionado entre beneficiários de
  2002 (primeiro subprojeto)
• controle selecionado entre solicitantes já
  aprovados mas ainda não contemplados pelo
  programa em 2005
• Esta forma de seleção garante que controle seja
  mais similar a tratamento
• mas ainda há possibilidade de viés pois há 3 anos
  de diferença na obtenção do projeto

11
Reduzindo o viés de seleção

• 2) Método Propensity-Score matching - PSM
  (pareamento por índice de probabilidade).
• Diminui as diferenças devidas a características
  observadas
• PSM em dois estágios
• Primeiro estágio nível comunitário para seleção
  amostral
• Segundo estágio na análise, níveis domiciliar e
  comunitário

12
PS antes e depois do pareamento
13
Reduzindo o viés de seleção

• 3) Análise de painel ou diferenças-em-diferenças
  
• - diminui as diferenças entre controle e
  tratamento devidas a características de efeitos
  aditivos em variáveis não-observáveis e
  observáveis não medidas
• As únicas características não passíveis de
  controle são as não-observáveis de efeito variável

14
Resultados indicaram que a combinação destas 4
etapas teve efeito na redução do viés
15
Principais desafios (2) falta de perfil de
entrada

• Faltavam dados domiciliares da situação no
  período anterior à implementação dos subprojetos
• Perfil de entrada realizado pela Fecamp era muito
  recente (2004) para retorno e estudo de impacto
  de médio-prazo.

16
Método Como lidamos com falta de um perfil de
entrada

• Coleta de dados com recall
• Capital físico (ativos), capital social e alguns
  indicadores sobre saúde.
• Momento importante última vez que Brasil ganhou
  a Copa do Mundo (julho de 2002)
• Situação antes da formação da associação

17
Principais Desafios (3) Qualidade dos Dados

• Testes de campo e treinamento entrevistadores
• Questionários testados no campo duas vezes
• Dados
• Taxa de resposta a questionários foi alta
• Análise dos dados revelou pequena proporção de
  outliers
• Exceção foram dados sobre valor da terra e
  tamanho da propriedade. Decidiu-se por não
  utilizar estes dados na análise

18

• PRINCIPAIS RESULTADOS

19
Impactos positivos sobre acesso a água e
eletricidade

• Todos modelos estimados demonstraram impacto
  positivo e significativo do programa sobre acesso
  à água e à rede elétrica

20
Efeitos sobre acesso a água
21
Efeito sobre eletrificação
22
Impactos sobre ativos domiciliares

• Impacto positivo sobre ativos, em todos os
  modelos, inclusive sobre cada tipo de ativo e de
  projetos analisados separadamente (por volta de
  30 coeficientes estimados)
• Nenhum dos coeficientes de impacto no valor total
  de ativos é estatisticamente significativo
  somente alguns dos impactos em tipos específicos
  de ativos são estatisticamente significativos

23
Efeito sobre ativos per capita
24
PCPR reduz incidência de doenças

• Análise das doenças mais comuns diarréia,
  verminoses, dengue, hepatite, asma e doença de
  chagas
• PCPR diminui a incidência do conjunto das doenças
  e, em especial, sobre hepatite, asma e
  doença de chagas
• Resultados indicam pequeno efeito positivo também
  sobre mortalidade infantil

25
Efeito sobre incidência de doenças
26
O que o estudo não respondeu

• Este estudo usou o capital físico (ativos) como
  um indicador da renda.
• Comunidades pobres podem consumir grande parte de
  aumento na renda, o que não se reflete em aumento
  de capital.
• Resultados indicam que há probabilidade do
  impacto na renda ser positivo, mas não são
  conclusivos.
• Para medir impacto na renda é necessário usar
  dados de perfil de entrada coletados na época de
  implementação dos projetos

27
Capital Social - KS

• Objetivo medir impacto do PCPR na organização da
  vida social e instituições locais e as relações
  entre as comunidades e o Estado
• Medir impacto quantitativamente
• Construção de índices a partir de questões
  concretas e simples

28
Como medimos Capital Social

• Indices de Capital Social (KS)
• CONDICIONANTES
• Cognitivo grau de confiança, solidariedade e
  ajuda mútua
• Estrutural formação e engajamento em associações
• RESULTANTES
• Participação comunitária solução conjunta de
  assuntos locais
• Participação civil representação e influência em
  decisões governamentais

29
Impactos no Capital Social são maiores na relação
entre comunidade e governo local induz maior
transparência pública e redução de riscos de
corrupção.

30
Conclusões Principais KS

• Impacto positivo em capital social em geral, mas
  maior em indicadores de envolvimento da
  comunidade na política pública local
• O PCPR se baseia no capital social existente,
  transformando o capital social comunitário em
  ação de controle e participação na esfera de
  políticas públicas locais
• Assim induz maior controle sobre interferência
  política e corrupção

31
Implicações para Políticas Públicas

• Alcance com relação aos serviços de
  infra-estrutura é alto e abrangente, enquanto
  impacto na renda ainda baixo
• Alguns Governos Estaduais estão assumindo atender
  a infra-estrutura básica com recursos do Tesouro
  (Estadual e/ou Federal)
• Nova Fase Projetos Desenvolvimento Local
  Integração rural-urbana maioria dos municípios
  de pequeno porte
• Ênfase em projetos produtivos com alcance de
  mercado arranjos produtivos locais como base
  para os investimentos

32
Implicações para Políticas Públicas

• Fortalecimento da Integração das políticas nos 3
  níveis de governo, utilizando no âmbito local os
  mecanismos participativos do PCPR Conselhos
  Municipais e Territoriais
• Integração Regional através do tratamento das
  questões ambientais, gerenciamento dos recursos
  naturais, ampliação da escala , ampliação do
  acesso aos mercados
• Competitividade, Inovação, Tecnologia aplicação
  estratégica

33
Sugestões para Futuros Estudos

• Um estudo metodologicamente apropriado não é
  necessariamente difícil de ser implementado e tem
  um alto poder de produzir resultados úteis e
  confiáveis
• Os termos de referência dos estudos de avaliação
  de impacto devem ser claramente definidos no
  período de preparação do Projeto, devendo ser
  anexados ao PAD
• O perfil de entrada deve ser realizado em até
  seis meses após a declaração de efetividade do
  empréstimo a contratação do perfil deve fazer
  parte de um pacote de todas as atividades/produtos
  esperados no estudo de avaliação de impacto
• Selecionar indicadores de avaliação com clara
  relação (causa-efeito) com as atividades
  intencionais do Projeto evitar a tentação de
  grande número de indicadores
• MIS deve conter registro das informações
  associadas com atividades e indicadores,
  incluindo o perfil das comunidades no momento de
  entrada no Projeto

34
Conclusão

• Elabore a pergunta certa para o estudo (olhando
  em perspectiva o que deseja obter)
• Forneça todas as informações sobre o
  funcionamento real do programa
• Defina claramente os indicadores que, por
  experiência dos gestores, são provavelmente
  afetados pelo programa
• Os resultados serão muito úteis!