Deux d

1
Deux définitions

• Evaluer une politique, cest  apprécier son
  efficacité en comparant ses résultats aux
  objectifs assignés et aux moyens mis en œuvre 
  (décret du 18/11/1998)
•  L'évaluation vise à produire des connaissances
  sur les actions publiques, notamment quant à
  leurs effets, dans le but de permettre aux
  citoyens d'en apprécier la valeur et d'aider les
  décideurs à en améliorer la pertinence,
  l'efficacité, l'efficience, la cohérence et les
  impacts  (Charte de la SFE)

2
Caractéristiques de lévaluation

• Activité détude et danalyse portant sur la mise
  en œuvre et les résultats dune action publique
• Menée dans un cadre méthodologique et
  institutionnel (plus ou moins) formalisé
• Dans le but de rendre des comptes et/ou
  daméliorer cette action

3
(No Transcript)
4
Différents types d'actions

• Politiques
• Programmes
• Projets
• Normes, réglementation (lois, décrets)
• Procédures
• Dispositifs
• Fonctions
• Pratiques

5
Evaluation et audit (1)

• Caractéristiques de l'audit
• Critères préfixés
• Indépendance
• Vérifie la régularité et la responsabilité au
  regard de résultats attendus
• Priorité à l'utilisation des ressources et aux
  problèmes organisationnels
• Priorité à l'obligation de rendre des comptes
• Vise à fournir une assurance au commanditaire
• Exigence de rapidité
• Porte principalement sur les structures
  (organismes, services, établissements,
  fonctions).

6
Evaluation et audit (2)

• Caractéristiques de l'évaluation
• Critères complexes et soumis à débat
• S'intéresse principalement aux effets externes
  (sur la société) de l'action publique
• Prend en compte la pluralité des acteurs et des
  porteurs d'enjeux
• Prend en compte la diversité des besoins
• Cherche à comprendre autant qu'à mesurer
• Recherche le consensus
• Concerne les actions plus que les structures

7
Finalités de lévaluation

• Rendre des comptes sur le  bon usage des fonds
  publics  (accountability)
• Décider sur une base plus rationnelle
• stratégie (lien avec la prospective)
• optimisation de lusage des ressources
• Apprendre, se mobiliser, donner du sens à
  laction, renforcer la capacité d'agir
  (empowerment)
• Partager des informations, faire converger des
  représentations

8
Les défis de laction publique

• Nouvelles demandes sociales/ complexité
• Resserrement de la contrainte budgétaire
• Crise des idéologies et de lautorité (déficit de
  légitimité de laction publique
• Nouvelles formes de gouvernance et de régulation
  (globalisation, Europe, décentralisation,
  partenariat, passer du faire au  faire faire )
• Crise du management public, demande de  sens 
  dans le travail

9
Des usages potentiels aux usages réels

• Une faible contribution au débat public
• Des usages budgétaires plutôt rares, du moins en
  France
• La place de lévaluation dans la gouvernance
  mondiale (UE, Banque mondiale)
• Une aide réelle au pilotage des politiques
• Limportance de la dimension  formative 
• Lapport à lélaboration de visions partagées
• Des effets le plus souvent différés et indirects

10
Les origines américaines

• Des interventions fédérales contestées
• Des programmes sociaux peu légitimes
• Democratie Accountability
• Lorientation empiriste des sciences sociales
• La visée dune politique fondée sur des preuves
  (Evidence-based policies)

11
Points forts de lévaluation dans le monde
anglophone

• Une réelle intégration de lévaluation au
  processus budgétaire
• Le caractère programmatique de l action publique
• Le rôle actif du parlement et de la Cour des
  comptes
• lorientation empiriste des sciences sociales
• La professionnalisation des évaluateurs

12
Étapes dune évaluation

• Lettre de mandat
• Élaboration dun projet dévaluation
• Constitution dune instance dévaluation, qui
  valide le projet
• Lancement dun programme détude
• Suivi et validation des études
• Rédaction et validation du rapport
• Suivi et valorisation des conclusions

13
Une pluralité d'acteurs dans le domaine sanitaire
et social

• Services ministériels (DARES, DREES)
• Établissements à caractère scientifique (centre
  d'étude de l'emploi...)
• Conseil national de l'évaluation sociale et
  médico-sociale (loi du 2 janvier 2002)
• Agence nationale de l'évaluation et de la qualité
  des établissements et services sociaux et
  médico-sociaux (décret du 8 mars 2007)
• Haute autorité de santé (HAS)
• Haut Conseil de la santé publique
• Observatoires

14
LE PROJET D'EVALUATION

• Contexte, enjeux
• Délimitation des actions à évaluer, critères
  dévaluation (référentiel termes de référence)
• diagnostic et hypothèses
• Questionnement (agenda analytique)
• Bilan informationnel
• Programme détude (enquêtes, recherches)
• Choix des opérateurs

15
Rôle de linstance d évaluation

• Elaborer une grille de questionnement sur la base
  du mandat
• Choisir une (des) méthode(s)
• Rassembler des informations et documents
  pertinents
• Procéder à des auditions
• Organiser et piloter les enquêtes
• Synthétiser et interpréter leurs résultats
• Rédiger le rapport dévaluation
• Communiquer, expliquer, diffuser

16
Limites et difficultés de lexpérimentation

• Usage limité à certains types de programmes
  (effets spécifiques et ciblés et spécifiques,
  existence dun  contrefactuel )
• Obstacles éthiques/ pratiques
• Coûts, délais
• Les résultats sont-ils généralisables ?

17
La Charte de la SFE

• Principes de
• Pluralité
• Distanciation
• Compétence
• Respect des personnes
• Transparence
• Opportunité
• Responsabilité

18
Un exemple la Loi de santé publique (2004)

• Un ensemble de dispositions institutionnelles
  (veille sanitaire, situations d'urgence,
  réorganisation des structures et organismes en
  charge de la santé publique HCSP, HAS, INVES,
  INPES...)
• 5 plans de santé publique (PNSE, cancer, maladies
  rares, maladies chroniques, violence)
• Une annexe consacrée aux objectifs de la
  politique de santé

19
Les objectifs de la santé publique (2004)

• 100 objectifs élémentaires,
• 8   Principes de la politique de santé publique
  (quasi objectifs efficacité économique,
  réduction des inégalités, concertation,
  évaluation...),
• Un méta objectif , l'  état de santé de la
  population , objectivé à travers plusieurs
   indicateurs synthétiques  (espérance de vie,
  mortalité prématurée, AVAI...).

20
Les 100 objectifs

• Modification des comportements (alcool, tabac,
  nutrition, exercice physique)
• Environnement (air, eau, exposition aux
  substances chimiques nocives, santé au travail)
• Dépistage
• Objectifs par pathologie
• Cancer,
• maladies cardio-vasculaires,
• Affections neuropsychiatriques, etc
• Autres entrées
• Iatrogénie, douleur
• Précarité, jeunes, personnes âgées

21
Le mandat du HCSP en matière d'évaluation

• Évaluer la loi de santé publique
• Contribuer au suivi de la mise en oeuvre
• Évaluer la réalisation des 100 objectifs
• Évaluer les programmes de santé publique
• Évaluation d'ensemble (cohérence, pertinence)

22
Les enjeux de l'évaluation

• Rendre compte au Parlement et à l'opinion
• Préparer le renouvellement de la loi
• Proposer de nouveaux objectifs à la lumière de
  l'évaluation des objectifs de la loi actuelle
• Se prononcer sur la pertinence des instruments
  politico-administratifs (plans et programmes,
  liste d'objectifs prioritaires...)
• Faire des propositions en vue d'améliorer la
  cohérence des politiques de santé (y compris
  l'organisation du système de soin et le
  financement de la consommation médicale)
• Contribuer à la connaissance des problèmes de
  santé et à l'amélioration des systèmes
  d'information

23
Évaluation de la réalisation des objectifs

• Évaluation légère exhaustive (fiches de synthèse)
• Évaluation approfondie par groupe d'objectifs ou
  pour certains objectifs
• Comment expliquer les évolutions constatées ?
• Quelles sont les actions susceptibles d'améliorer
  la situation constatée
• Faut-il maintenir cet objectif parmi les
  objectifs prioritaires ?

24
Contenu des fiches de synthèse

• Éléments quantitatifs d'ensemble (indicateurs
  commentés, jugement sur l'atteinte de l'objectif)
• Données sur les inégalités territoriales et
  sociales
• Données internationales disponibles et position
  relative de la France
• Plans et actions correspondants autres facteurs
  connus influençant l'objectif
• Conclusions et préconisations  

25
Démarche d'évaluation des plans de santé

• Un groupe projet restreint présidé par une
  personnalité extérieure à l'administration
• Comprenant essentiellement des experts, dont au
  moins un expert proche du milieu associatif
  concerné
• L'administration participe, mais ne contrôle pas
  le processus
• Deux ou trois réunions en formation élargie
  (membres du HCSP, associations...) à des moments
  clefs de l'évaluation (examen du cahier des
  charges, discussion du projet de rapport).

26
Évaluation de la loi

• Un rapport de suivi est élaboré chaque année par
  le ministère,
• Le HCSP est chargé de procéder à une évaluer
  d'ensemble de la loi
• En s'appuyant sur l'évaluation des objectifs et
  sur l'évaluation des plans et programmes
• Et sur une évaluation sommaire des dispositions
  institutionnelles contenues dans la loi

27
Un évaluation en terme de cohérence et de
pertinence

• Cohérence d'ensemble des dispositions
  institutionnelles (faisabilité, cohérence avec
  les autres politiques publiques)
• Pertinence des objectifs (choix et
  hiérarchisation des objectifs au regard des
  indicateurs transversaux de santé mortalité,
  morbidité, AVAI )
• Cohérence avec les neuf  principes de la
  politique de santé publique  (connaissance,
  réduction des inégalités, parité, protection de
  la jeunesse, précocité, efficacité économique,
  intersectorialité, concertation, évaluation