AVALIA

1
AVALIAÇÃO DE POLÍTICAS PÚBLICAS

• Profa. Dra. Maria Teresa Miceli Kerbauy

2
AVALIAÇÃO

• é um processo sistemático de análise de uma
  atividade, fatos ou coisas que permitem
  compreender, de forma contextualizada, todas as
  suas dimensões e implicações.

3
AVALIAÇÃO DE POLÍTICAS PÚBLICAS

• é parte integrante do processo de desenvolvimento
  da política pública pois possibilita o
  conhecimento e a formulação de subsídios para a
  tomada de decisão institucional visando a
  concretização dos objetivos da política
  implementada.

4
AVALIAÇÃO DE POLÍTICAS PÚBLICAS

• pode ser formulada e implementada de diversas
  maneiras. A avaliação permite reconstituir suas
  características de forma a compreendê-las melhor.

5
A AVALIAÇÃO...

• é parte integrante do processo de desenvolvimento
  da política pública pois possibilita o
  conhecimento e a formulação de subsídios para a
  tomada de decisão institucional visando a
  concretização dos objetivos da política
  implementada.

6
SUJEITOS DA AVALIAÇÃO

• 1) Sujeitos internos
• a) Formuladores da Política
• b) Implementadores da Política
• c) Beneficiários da Política

• 2) Sujeitos externos
• Sociedade Civil

7
OBJETIVOS DA AVALIAÇÃO

• Pesquisa de Avaliação cujo objetivo é conhecer a
  relação entre condições, meios, resultados e
  impactos da intervenção.

8
OBJETIVOS

• Verificação de eficácia, de eficiência e de
  accountability das ações visando
• redução dos custos
• uso adequado dos recursos
• prestação de contas do uso dos recursos
• detectar dificuldades
• produzir recomendações

9

• Estes objetivos podem aparecer de forma
  combinada, predominando um ou outro, dependendo
  das perspectivas e decisões do avaliador ou do
  proponente da avaliação.

10
A avaliação pensada temporalmente pode ser

• Ex Ante. Tem por finalidade proporcionar
  critérios racionais para a decisão se o projeto
  deve ou não ser implementado. Ocorrem durante as
  fases de preparação e formulação. Permitem
  ordenar os projetos segundo sua eficiência para
  alcançar os objetivos perseguidos. São também
  chamadas avaliações-diagnósticos.

11
QUE TEM COMO OBJETIVO

• produzir orientações, parâmetros e indicadores
  que se incorporem ao projeto, melhorando seu
  desenho e suas estratégias metodológicas e de
  implementação

• fixar um ponto de partida que permita comparações
  futuras (linha de base ou tempo zero) (DRAIBE,
  2001).

12
OU PODE SER...

• Ex Post. São feitas concomitantemente ou após a
  implantação do programa. Tem como objetivo
• verificar os graus de eficiência e eficácia com
  que o programa está atendendo seus objetivos
• avaliar a efetividade do programa, ou seja, seus
  resultados, impactos e efeitos (DRAIBE, 2001).

13
QUANTO À NATUREZA

• AS AVALIAÇÕES PODEM SER...

14
Avaliação de Resultado

• tem como objetivo avaliar o cumprimento dos
  objetivos propostos pela política ou pelo
  programa.

15
Avaliação de Processo

• tem como objetivo avaliar as características
  organizacionais e de desenvolvimento dos
  programas.

16
Avaliação de Desempenho

• ligada a área de recursos humanos e psicologia
  organizacional. Consiste em avaliar o nível de
  competência de uma pessoa em relação ao nível
  exigido pelo posto de trabalho que ela ocupa. Tem
  como objetivo a proposta de incentivos, ou como
  instrumento de informação ou como feed-back para
  o desenvolvimento de recursos humanos.

17

• É considerado como elemento chave nas estratégias
  de reforma e modernização das organizações.

18
AVALIAÇÕES DE RESULTADOS

• Pode-se distinguir na avaliação de resultado o
  desempenho, o impacto e os efeitos.

19
DESEMPENHO

• diz respeito aos produtos do programa, previstos
  em suas metas.

20
IMPACTOS

• referem-se às alterações ou mudanças efetivas na
  realidade sobre a qual o programa intervêm e por
  ele são provocados.

21
EFEITOS

• referem-se aos outros impactos do programa,
  esperados ou não, que afetam o meio social e
  institucional no qual se realizou (nível de
  informação, satisfação, melhor capacitação dos
  implementadores).

22
INDICADORES UTILIZADOS PARA AVALIAR RESULTADOS

• devem medir os graus, as quantidades e os níveis
  de qualidade com as metas programáticas foram
  cumpridas. Confrontam objetivos e metas. Por ex.
  cobertura da população alvo. Nível de focalização
  do programa sobre os públicos-alvo pretendidos.

23
PERGUNTAS

• O programa realizou os objetivos pretendidos?
• Atingiu os grupos alvos pretendidos?
• Cumpriu as metas propostas?

24
MAIORES DIFICULDADES

• Existem maiores dificuldades em operacionalizar
  os indicadores de impactos, pois implicam na
  definição ou grupo de referência com o qual se
  compararão os impactos do programa.

25
COM O QUE COMPARAR?

• Comparação antes e depois. Exige diagnóstico da
  situação anterior ao início do programa. Quando
  os programas são contínuos, rotineiros e
  universais é quase impossível determinar o ponto
  inicial. São avaliações caras.

• Comparação entre seus participantes e não
  participantes.

26
CONTROLE DE VARIÁVEIS

• é decisivo, de preferência por meio de métodos
  estatísticos. Por ex. análise multivariada,
  técnicas de modelagem ou regressão logística.

27
PERGUNTAS

• O programa efetivamente produziu os resultados
  strito senso que pretendia alcançar?
• Afetou e em que medida a característica da
  realidade que queria transformar?

28
INDICADORES DE EFEITO

• medem alterações esperadas ou não provocadas
  pelo programa que afetam, além do grupo alvo
  focalizado, as instituições ou organizações
  participantes, os agentes que implementam o
  programa e o meio social em que este se realiza.

29
TIPOS

• efeitos sociais (agentes implementadores,
  comunidade local e grupos particulares de
  interessados na sua execução).

• Efeitos institucionais (instituições
  governamentais e não governamentais associadas à
  sua implementação).

30
PERGUNTAS

• A implementação do programa logrou produzir, nas
  instituições envolvidas, alguma aprendizagem
  institucional?
• Produziu melhoria de suas capacidades
  institucionais?
• Estimulou ou criou condições para a continuidade,
  ampliação ou multiplicação da experiência?
  (sustentabilidade)
• Foram constatadas melhoras nas capacidades
  profissionais dos agentes da implementação, como
  resultado das atividades desenvolvidas no
  interior do programa?

31
AVALIAÇÃO DE PROCESSOS

• A avaliação das políticas públicas quase sempre
  se referem ao momento da formulação, sobretudo às
  decisões iniciais (que dizem respeito a atores,
  conteúdos materiais e desenho).

32
FORMULAÇÃO

• compreende a formação da agenda pública (tema ou
  demandas na agenda social e pública) a produção
  e o confronto de alternativas por parte dos
  diferentes grupos de atores, os processos de
  filtragem e de apropriação / domesticação da
  poliey por parte dos agentes segundo o legado ou
  as tradições e culturas organizacionais, a
  formulação e decisão as definições de
  estratégias de implementação (Draibe, 2001).

33
ESTRATÉGIA

• constituída fundamentalmente por características
  ou dimensões do processo tais como a dimensão
  temporal os atores estratégicos a serem
  mobilizados nos diferentes estágios, para apoiar
  a implementação do programa, os subprocessos e
  estágios pelos quais se desenvolverá a
  implementação são importantes para a avaliação de
  processos.

34
AVALIAÇÃO DE PROCESSO

• deve envolver ainda a avaliação das estratégias
  que orientaram a implementação aferindo em que
  medida tiveram ou não êxitos, garantiram ou
  dificultaram o sucesso do processo.

35
IMPLEMENTAÇÃO

• inclui tanto as atividades-meio, que viabilizam
  o desenvolvimento do programa, quanto a
  atividade-fim, ou a execução propriamente dita,
  antes que se torne rotineiro (Draibe, 2001).

36
ITENS IMPORTANTES NA AVALIAÇÃO DE PROCESSOS

• 1) Dimensão temporal que envolve cálculos
  políticos quanto aos apoios e resistências que
  enfrentará o programa.

37
ALTERNATIVAS

• Estratégias incrementais. Período longo, que
  compreende estágios, que possibilite construir
  alianças ou coalizões de apoio capazes de vencer
  resistências.

38
ALTERNATIVAS

• Estratégias de choque. A implementação se faz num
  momento único do tempo e parte do suposto que a
  surpresa e medidas, tais como o insulamento
  burocrático dos que tem poder decisório, sejam
  capazes de vencer as resistências esperadas e
  inibir o surgimento de novas.

39
2) Atores Estratégicos e Matrizes de Conflito e
Cooperação

• Diagnóstico dos atores institucionais ou
  individuais que sustentam o programa e os que
  aderem e ou resistem.
• Matrizes institucionais de cooperação ou conflito
  para localização dos pontos de acordo e dos
  consensos mínimos, indispensáveis às negociações
  e sustentabilidade dos programas.

40
3) Parcerias e redes de apoio

• Identificação dos produtores e consumidores da
  política pública
• Inclui beneficiários mais diretos até atores
  institucionais ou não (financiadores,
  concorrentes, vinculados a programas similares e
  competitivos)

41

• Para a avaliação de Processo torna-se necessário
  a identificação de sistemas ou subprocessos

42
Sistema Gerencial e Decisório

• Estrutura hierárquica do sistema
• centralização ou descentralização
• autonomia ou dependência

• Gestão do Tempo
• Capacidade de implementar decisões de que dispõem
  os gerentes

43
Atributos da autoridade que conduz o processo

• Interno ou externo ao programa
• Funcionários ou assessor
• Liderança e legitimidade

44
Processos de Divulgação e Informação

• Divulgação junto ao público interno e externo
• Informação qualificada entre agentes
  implementadores e beneficiários

45
INDICADORES

• Clareza
• Abrangência

• Suficiência da informação
• Agilidade do fluxo

46
SISTEMA DE SELEÇÃO

• Critérios de seleção de recrutamento dos agentes
• Critérios de seleção dos grupos beneficiários
• Abrangência da divulgação dos processos seletivos

• Critérios na seleção de instituições e agentes
  estratégicos do programa (competência e mérito)
• Adequação do processo seletivo aos objetivos do
  programa

47
Sistemas de Capacitação

• Capacitação dos agentes de implementação
  (gerenciais, didáticas, de supervisão ou
  monitoramento, de desenvolvimento social)

• Capacitação dos beneficiários

48
Sistemas internos de Monitoramento e Avaliação

• Monitoramento dos estágios iniciais
• Avaliações internas restringindo-se em geral a
  examinar registros administrativos ou a coletar
  opiniões dos agentes implementadores
• Auditorias e avaliações externas (raras)
• Regularidade das avaliações
• Correção de processos e procedimentos
• Resultados sistematizados e socializados entre
  instituições e técnicos participantes

49
Sistemas Logísticos e Operacionais (Atividade-fim)

• Suficiência de recursos para os objetivos
  propostos
• Maximização dos recursos em benefício dos
  objetivos e metas
• Suficiência e qualidade dos recursos materiais
  (equipamentos coletivos, equipamentos de
  comunicação, serviços de transporte)
• Prazos adequados (tempo)

50

• Os conceitos de eficácia, eficiência e
  efetividade são os mais utilizados nas avaliações
  de processos e resultados.

51
EFICÁCIA

• Refere-se às características de implementação de
  um processo e os resultados efetivamente
  alcançados.
• Maior eficácia quando os resultados são
  alcançados em menor tempo, menor custo e melhor
  qualidade onde o programa se apoia em processos e
  sistemas adequados de implementação.

52
PERGUNTA

• Quais são ou foram, na implementação, os fatores
  de ordem material e, sobretudo, institucional que
  operam como condicionantes positivos ou negativos
  do desempenho dos programas?

53
EFICIÊNCIA

• Refere-se à relação tempo e custos na
  implementação do programa. Mede o grau de
  aproximação e à relação entre o previsto e o
  realizado, no sentido de combinar os insumos e
  implementos necessários à consecução dos
  resultados visados.

54
EFICIÊNCIA

• Pergunta As atividades operam com menores custos
  e no menor tempo possível para a produção máxima
  dos resultados esperados?

• Relaciona Produtos (bens e serviços) e custos dos
  recursos (insumos e atividades) adicionado o
  parâmetro tempo (produtividade). Pode-se
  considerar também as alternativas tecnológicas do
  processos (eficiência técnica).

55
EFETIVIDADE

• Refere-se à relação entre objetivos e metas de um
  programa e impactos e efeitos de outro. A
  efetividade significa as quantidades e/ou níveis
  de qualidade com que o programa atinge impactos
  esperados e promove os efeitos previsíveis ou não.

56
OS EFEITOS PODEM SER...

• Efetividade social Capital Social Rede de
  articulações e parcerias específicas que
  facilitam sua execução ou adesão e satisfação dos
  agentes implementadores e da população-alvo.

57
OU...

• Efetividade institucional modificações
  provocadas pelo programa sobre organizações e
  instituições responsáveis ou envolvidas na
  implementação capacidade institucional,
  aprendizagem institucional ou hábitos ou
  comportamentos culturais das organizações.

58
PRINCIPAIS DIFICULDADES

• dificuldade de isolar da realidade variáveis
  efetivamente relevantes
• a incerteza sobre os reais objetivos da política
  avaliada (dada a necessidade de distinguir entre
  objetivos explícitos e implícitos)
• as dificuldades de obtenção e adequação das
  informações

59
PRINCIPAIS DIFICULDADES

• as dificuldades técnicas para estabelecer
  relações de causalidade entre os programas e seus
  resultados
• as dificuldades para obtenção dos recursos
  financeiros necessários à realização de
  avaliações confiáveis (Arretche, 1998)
• a descontinuidade político-administrativa (Lobo,
  1998).