Diapositive 1

1
Cycle de qualification des agents de
développement en vue de la préparation de la 3ème
génération de contrats territoriaux Module 5
Suivi Evaluation et démarche damélioration
continue
Région Centre - Juin 2008
Jean-François Henric / Sandrine Maillet
2
Module 5 Suivi Evaluation et démarche
damélioration continue
Système de suivi évaluation / démarche
damélioration continue Quest-ce quun
indicateur ? Comment choisir un indicateur
? Référentiel dindicateurs DD Méthodes et outils
danalyse
matin
après- midi
Exercices pratiques Questions-réponses Évaluatio
n de la journée et de la formation
3
Système de suivi évaluation et amélioration
continue
4
Différents temps de lévaluation

• En fonction du moment où elles interviennent, on
  peut distinguer trois grands types d'évaluation
  des politiques publiques
• l'évaluation ex-ante, c'est-à-dire l'étude
  prospective de la faisabilité et de l'impact
  d'une mesure projetée ou en préparation
• l'évaluation ex-post qui vise à apprécier les
  résultats des actions après coup au regard des
  objectifs, permette de tirer les enseignements
  rétrospectifs sur une politique parvenue à
  maturité
• l'évaluation in itinere ou chemin faisant.

Clôture et préparation dune nouvelle politique
publique
Définition dune politique publique
Mise en uvre dune politique publique
Ex-ante
In-itinere
Ex-post
5
Différents  lieux  du suivi-évaluation
Le territoire
Partenaires
Sélectivité
Enjeux régionaux, départementaux
Analyse doc.
Hiérarchisation
Transversalité
Un diagnostic stratégique
Identification denjeux
validation
Entretiens
Analyse stat et cartographique
Une ambition
Réorientations
Un PROJET
Animations collectives
Définition dun objectif
Bilan, évaluation
partagé
validation
Sélection Négociation Engagements réciproques
Une CHARTE
Un PROGRAMME
Evaluation, réorientations
Traduction
validation
Des grandes ambitions
opérationnelle
une stratégie
Sélectivité
Animation locale
Des moyens
Hiérarchisation
Une organisation
Négociation
Phasage
Evaluation, réorientations
6
Quest-ce quun indicateur ?
Donnée occurrence chiffrée dune variable
Ex population, etc
Indicateur variable
quali ou quanti, permettant seule ou avec
dautres lappréciation à partir dune échelle de
valeurs normative et/ou comparative dun
phénomène mesurable ou non
7
Quest-ce quun indicateur ?
Un indicateur cest

• Un outil de description du réel
• Un outil de comparaison
• Un outil de communication
• Un support à la décision

8
Quest-ce quun indicateur ?
9 caractéristiques pour les indicateurs

• Ils sont utilisés pour traiter dune question ou
  dun phénomène
• On devrait parler dindicateur de quelque chose
• Ce sont des variables
• Ils doivent se situer dans un système de
  référence
• Repère, étalonnage, échelles
• Ils sont liés aux notions daction et dobjectif
• Un indicateur est lié à une échelle temporelle
  dévolution du phénomène observé

9
9 caractéristiques pour les indicateurs
6. Ils visent à donner une représentation la plus
proche dune réalité complexe Réduire
lincertitude 7. La multiplication des
indicateurs est nécessaire pour cerner un
phénomène complexe Convergence, faisceau de
présomption 8. Ils doivent être documentés 9.
Ils doivent permettre de communiquer
10
 Observer ou suivre  un territoire?
Observatoire de territoire
Lieu où on essaie de mesurer latteinte
dobjectifs
Lieu de fourniture de données, dinformations
Lieu où on essaie de répondre à des questions
Indicateurs quanti et quali
Statistiques Données Cartes Etc.
Indicateurs quanti et quali
Indicateurs de résultat
Indicateurs dimpact
11
Evaluation à différents niveaux à différents
temps
PLAN DACTION AGENDA 21
Contenu de laction
EVALUATION PAR ACTION
Indicateurs spécifiques
EVALUATION GLOBALE
Indicateurs globaux
Indicateurs dimpacts
? Enquêtes
Daprès RCT A21 St Etienne Métropole
12
Exemples dindicateurs

• Indicateurs de résultats
• Nombre de kilomètre de pistes cyclables
• Nombre de points dapports volontaires / habitant
• Consommations énergétiques liées à léclairage
  public
• Nombre de nouvelles places daccueil petite
  enfance
• Indicateurs dimpact
• Emissions annuelles de CO2 en tonnes par habitant
  sur le territoire
• Qualité globale des cours deau / points de
  surveillance
• Nombre de personnes souffrant de pathologies
  liées à la qualité de lair
• Proportion de personnes vivant en deçà du seuil
  de pauvreté

13
Comment choisir les indicateurs?

• Que veut-on observer ?
• Bien circonscrire la question qui se pose
• Identifier et décrire les problématiques
• Préciser éventuellement les angles de lanalyse

14
Comment choisir les indicateurs?

• Lister les objets de lobservation
• Ex a-t-on aisément accès aux soins sur un
  territoire
• Objets les  stocks  ( loffre ) et les flux
  ( fréquentation )
• Indicateurs calculés nombre, diversité,
  proximité physique, accessibilité horaire

15
Comment choisir les indicateurs?

• Décrire les indicateurs
• Lister le possible
• Justifier le choix (apports à la question posée,
  lien avec dautres indicateurs)
• Vérifier lapplicabilité (accessibilité des
  données, coût)
• Assurer la reproductibilité (sources et données
  nécessaires, mode de calcul)
• Préciser les modalités dutilisation (échelles
  spatiales et temporelles, exploitations
  possibles, limites et précaution dutilisation)
• Garantir la lisibilité
• Hiérarchiser et partager

16
Quel référentiel pour choisir des indicateurs ?

• Indicateurs de développement durable urbain
  ARPE
• Référentiel dévaluation et de suivi des
  politiques environnementales des collectivités
  territoriales RESPECT
• Benchmarking évaluation dans le cadre dagendas
  21 CG Nord Pas de Calais, CG Drôme, CG Essonne,
  Communauté urbaine de Dunkerque, Communauté
  urbaine de Lyon, ville dEchirolles, ville de
  Marseille, ville de Toulouse, etc
• Etat de lart actuellement réalisé par le MEEDDAT
  sur la pratique de lévaluation des projets
  territoriaux de développement durable
• 45 indicateurs du développement durable, une
  contribution de lIFEN (2003)

17
Indicateurs de développement durable urbain - ARPE

• 27 indicateurs
• Échelle communale
• Sur les 4 dimensions du DD interface
• Lisibilité / facilité de recueil de données et de
  mise à jour
• Fiche de description des indicateurs (Définition
  / Limites dutilisation / Aide à linterprétation
  / Références de lindicateurs/A21 / Données mises
  en uvre / Année / Organismes producteurs /
  Calcul / Unité / Fiabilité / Fréquence de
  production minimale )

18
Exemples dindicateurs de développement durable
urbain - ARPE

• RESPECT DES EQUILIBRES ECOLOGIQUES
• Espaces verts boisements et zones nat. Offre
  en espace verts entretenus par habitants
• Protection des ressources en eau douce et de leur
  qualité
• Prix de l'eau écart au prix moyen national
• Qualité de l'eau produite pourcentage de
  non-conformité des analyses microbiologiques.
• Déchets Taux de détournement pour valorisation
• RESPECT DES EQUILIBRES ECOLOGIQUES ltgt
  DEVELOPPEMENTSOCIAL
• Qualité de l'air et bruit
• Emission de gaz responsables de la pollution
  atmosphérique (rejet Nox en kg/ha)
• Proportion des déplacements domicile-travail
  réalisés en transport en commun
• Agriculture périurbaine Proportion des
  exploitations signataires d'une démarche
  labellisée
• Risques majeurs Niveau d'exposition aux
  risques naturels et industriels
• RESPECT DES EQUILIBRES ECOLOGIQUES ltgt
  DEVELOPPEMENT SOCIAL
• Urbanisation Indice de consommation d'espace
  évolution sur les 5 dernières années

19
Exemples dindicateurs de développement durable
urbain - ARPE

• DEVELOPPEMENT ECONOMIQUE ltgt ENVIRONNEMENT
• Certification Part des salariés
  d'établissements privés certifiés ISO 14001
• DEVELOPPEMENT ECONOMIQUE
• Diversification de l'activité nombre
  d'établissements privés pour 1000 habitants
• Emploi Evolution du nombre d'emplois
• DEVELOPPEMENT SOCIAL ltgt ACTION ECONOMIQUE
• précarité et exclusion Part de la population
  vivant en-deçà du seuil de pauvreté
• DEVELOPPEMENT SOCIAL
• Démographie Taux d'accroissement de la
  population
• Logement social Proportion des logements
  locatifs sociaux
• Santé temps d'accès au services d'urgence
  minutes
• Education,formation Proportion des 15 ans et
  plus non-titulaire d'un diplôme qualifiant
• Patrimoine, culture, sport et loisirs
• Nombre de livres empruntés dans les
  bibliothèques
• Nombre de monuments inscrits et classés

20
Exemples dindicateurs de développement durable
urbain - ARPE

• DEVELOPPEMENT SOCIAL (suite)
• Sécurité des biens et des personnes Taux de
  criminalité
• Intégration des femmes Taux de chômage féminin
  écart au taux moyen national
• GOUVERNANCE
• Finances et marge de manuvre Taux
  d'imposition écart à la moyenne nationale
• Stratégies de développement durable
• signature de la charte d'Aalborg oui/non
• Citoyenneté et démocratie
• Niveau dimplication des citoyens dans la
  décision
• Taux d'abstention aux élections municipales et
  régionales

21
Référentiel RESPECT

• La méthode RESPECT sadresse à une collectivité
• Qui a une politique environnementale et qui
  souhaite lévaluer
• Qui na pas de politique environnementale mais
  qui souhaite en définir une
• Qui veut suivre ponctuellement des actions
  environnementales

22
Référentiel RESPECT

• de 1997 à 2000, 30 collectivités européennes dont
  le CR de Poitou-Charetnes, les CG de Côtes
  dArmor et Gironde, communautés urbaines de Lille
  et de Lyon, les villes dAix en Provence,
  dArras, de Boulogne-Billancourt,
  Chalon-sur-Saône, de Douai, de Grenoble, de
  Marseille, de Niort, dOrléans, de Toulouse
• Validation de la méthode, test et vérification
  des indicateurs environnementaux et de leur
  transférabilité
• Indicateurs environnementaux sous forme de
  tableau de bord environnemental (TBE)

23
Méthode Respect

• Appropriation et adaptation du tableau de bord
• environnemental
• Réalisation de létat des lieux
• ? Fiche indicateur
• Détermination des objectifs de la collectivité
• ? Fiche évaluation
• Programmation des actions
• ? Note globale environnementale des
  indicateurs
• Evaluation de la politique environnementale
• ? Fiche synthèse thématique
• Nouvelle programmation des objectifs et
  desactions de la collectivité

24
Méthode RESPECT (suite)

• Appropriation et adaptation du tableau de bord
  environnemental
• Choix des thèmes à suivre par la collectivité
• Choix des indicateurs à suivre par la
  collectivité en fonction des compétences ou des
  choix de politique environnementale
• Ajout dindicateurs adaptés à la collectivité

25
Indicateurs Respect

• Critères (nature de lindicateur)
• Pression Indicateur rendant compte des
  pressions exercées par les activités humaines sur
  lenvironnement
• Etat Indicateur rendant compte de la
  modification de la qualité ou de la quantité des
  ressources
• Réponse Indicateur rendant compte de la réponse
  que la société apporte pour limiter les
  conséquences de ces pressions sur létat de
  lenvironnement
• Objectifs
• Indicateurs

26
Pression / Etat / Réponse
ACTEURS
PRESSION
ETAT
IMPACT
REPONSES
27
Exemples

• Critère Pression
• Objectif Connaître la consommation pour
  économiser la ressource en eau
• Volume total facturé par an par habitant

• Critère Etat
• Objectif Sassurer de la qualité des cours
  deau pour satisfaire les différents usages
• Qualité globale des cours deau et des lacs en
  fonction des points de surveillance et selon les
  classes de qualité de la directive  eau potable 

• Critère Réponse
• Objectif Limiter la pollution par les rejets
  deaux usées
• Rendement global de dépollution du système
  dassainissement collectif

28
Méthode RESPECT (suite)

• Réalisation de létat des lieux
• Détermination des valeurs initiales des
  indicateurs (fiche indicateur)
• Détermination des objectifs de la collectivité
• Elaboration des objectifs opérationnels chiffrés
  pour chaque indicateur (fiche évaluation)
• Programmation des actions
• Choisir des indicateurs prioritaires à partir
  dune note globale environnementale attribuée à
  chaque indicateur
• ? Une fois le tableau de bord rempli et les
  objectifs opérationnels fixés, choisir des
  indicateurs sur lesquels il faut agir de manière
  prioritaire
• Choisir les solutions les plus efficaces

29
Choix des indicateurs prioritaires note
globale environnementale prioritaire

• Méthode analyse multicritère et notation
  multicritère de chaque indicateur
• Critères environnementaux (possibilité dajouter
  des critères politiques / sociaux / économiques
  pour pondérer la proposition)
• Chaque critère est noté de 1 à 3 pour un
  indicateur donné. Le critère peut être noté pour
  lensemble dun thème (selon le cas)
• Multiplier chaque note obtenu par critère pour
  chaque indicateur
• Résultat
• note très forte indicateur prioritaire /
• note très faible indicateur peu prioritaire

30
Choix des indicateurs prioritaires note
globale environnementale prioritaire

• Critères environnementaux
• Le milieu auquel correspond le thème est il de
  mauvaise (3) ou de bonne qualité (1) ?
• Le milieu auquel correspond le thème se
  dégrade-t-il (3) ou saméliore-t-il (1) ?
• La ressource à laquelle correspond le thème
  sépuise-t-elle (3) ou est-elle encore très
  importante (1) ?
• Leffet sur la santé humaine est-il jugé
  important (3) ou faible ou inexistant (1) ?
• Leffet plus global sur les autres territoires ou
  les générations futures de lévolution négative
  dun indicateur est-il jugé important (3) ou
  faible (1) ?
• La valeur réglementaire est-elle atteinte ? Non
  (3) / Oui (1)
• Autres critères possibles
• La perception des habitants en fait-il un thème
  prioritaire (3) ou non (1) ?
• Le thème fait-il de partie des priorités
  politiques fortes (3) ou moins fortes (1)
• Lactivité de la collectivité lui permet-elle de
  mettre en place des actions à forte valeur
  dexemple (3) ou non (1) ?

31
Méthode RESPECT (suite)

• Evaluation de la politique environnementale
• Actualisation des indicateurs (selon la période
  déterminée)
• Évaluation de lindicateur avec une analyse entre
  les objectifs fixés et les résultats atteints
• Evaluation de lindicateur permettant une analyse
  globale des indicateurs dun même thème (fiche
  synthèse thématique)
• Nouvelle programmation des objectifs et des
  actions de la collectivité

32
Intérêt méthode RESPECT

• Batterie dindicateurs environnementaux adaptés à
  différents échelons territoriaux
• Permet de sinterroger sur lobjectif et
  lobjectif opérationnel
• Permet de sinscrire dans une véritable démarche
  damélioration continue

33
Lanalyse au regard du développement durable
34
Suivi-Evaluation
Quantitative
Qualitative
Indicateurs Tableau de bord Enquêtes
35
Application des méthodes et outils danalyse
Méthode
Territoire
Politiques, projets, actions
Outils OAQDD ou grilles danalyse
36
Intérêt des méthodes et des outils danalyse

• Appropriation du développement durable
• Animation de la transversalité
• Démarche damélioration continue
• Aide à la décision en vue dimpacter réellement
  les projets et permettre lémergence de solutions
  alternatives

37
Les OQADD

• Terme introduit par A. Boutaud Outil de
  Questionnement et dAnalyse en matière de
  Développement Durable
• Méthode délaboration et mode dutilisation des
  OQADD

38
Loutil danalyse

• Le contenu le questionnement
• Environnement
• Social culture santé
• Économie (tissu économique, rentabilité, emplois)
• Thèmes transverses, champs croisés
  (transversalité, internalisation, etc..)
• Gouvernance (information, concertation,
  participation)
• Principes de développement durable (précaution,
  long terme, global-local)
• Autres (aménagement, urbanisme, transport,
  autres)

39
Loutil danalyse

• Le questionnement
• Mots clés, Questions, Mots clés et questions
• Questionnement simple sans être simpliste

• Un nombre de critères suffisant mais limité

• Importance de lexplicitation des termes employés
  (glossaire, livret daccompagnement)

40
Loutil danalyse

• Le système de notation
• Que note-t-on ? le niveau dobjectif (ou
  denjeux) ? le niveau de prise en compte du
  critère ? le niveau dimpact ? La capacité
  damélioration ?
• Lamplitude de la notation
• Lexplicitation de la notation
• Lagrégation

41
Loutil danalyse à vocation pédagogique un
outil convivial et communicant

• Explicitation du mode dutilisation, des termes
  (livret daccompagnement)
• Rendu graphique
• Code couleur
• Supports Plaquette de communication

42
Graphe type radar
Social
Équité
Approche intégrée 4 Approche fractionnée
3 Approche ponctuelle 2 Déclaration dintention
1 Sujet non traité 0
Participation
Économie
Gouvernance
Viabilité
Précaution
Environnement
43
Les schémas de performances
Zone dalerte
Développement économique pluriel
Gouvernance
Profil maximum
Profil à 3 ans
Profil actuel
Source communauté urbaine de Dunkerque
44
LOQADD VILLE DE MARSEILLEPrésentation
Présentation dun critère
1.1 Diminuer les nuisances et les
pollutions Prise en compte du critère
Non pris en compte Un
peu pris en compte Bien pris
en compte Les impacts du projet par rapport au
critère Impact négatif
Non significatif Impact positif
Impact positif fort Le niveau
damélioration possible (faisable) de prise en
compte du critère Nul
Insignifiant Moyen
Bon NSP
Source ville de Marseille
45
Représentation graphique de lanalyse du projet
par la grille
ENVIRONNEMENT PLANIFICATION
ENVIRONNEMENT PLANIFICATION
LIEN SOCIAL
CONDITIONS DE VIE
LIEN SOCIAL
CONDITIONS DE VIE
5
6
6
4
5
3
4
2
2
1
1
3
6
6
VIABILITE ECONOMIQUE
VIABILITE ECONOMIQUE
GOUVERNANCE
GOUVERNANCE
6
PRINCIPES ET DEMARCHES POUR UNE DURABILITE
PRINCIPES ET DEMARCHES POUR UNE DURABILITE
Source ville de Marseille
Les impacts
Les améliorations
Impact positif fort Impact positif Non
significatif Impact négatif
Bon niveau Moyen Insignifiant Nul
46
Un exemple dutilisation de la grille au Val
dOrge
47
Mode délaboration de loutil danalyse

• Elaboration participative et transversale
• méthode danalyse / validation des marges de
  progrès
• doutils danalyse
• Sensibilisation / formation préalable
• Communication /sensibilisation sur la réflexion
• Outil évolutif

48
Modalité dutilisation de loutil danalyse

• Tester la grille sur quelques projets dans les
  conditions réelles dutilisation
• Identifier les personnes chargées de lanalyse du
  projet des personnes impliquées directement
  dans le projet et des personnes non impliquées
  initialement
• Travail en amont avec le ou les porteurs du
  projet
• Groupe de travail transversal
• Validation
• Etude de faisabilité, mise en uvre

49
Conclusion les conditions de réussite

• Participation
• Définir une méthode en amont et la planifier
• Préciser les objectifs de lanalyse
• Méthode et Outils débattus et appropriés