EasyEco Training : the Plan Loire Case study

1
Easy-Eco Training the Plan Loire Case study

• Szentendre 25/01 03/02 2006

2
Day 1

• Analysing the call for evaluation

3
Geographical elements
4
Physical characteristics

• Loire river is more than 1 000 km long
• As a whole, it represents an hydrographic
  network of 135 000 km, with very different
  hydrologic patterns
• Two old mountain areas massifs at the extremities
  (in Brittany and massif central)
• Very few ground water under these old mountains,
  some important stocks, but with high levels of use

5
Administrative features

• France is characterised by the coexistence of
  many administrative levels.
• At the national level, the important stakeholder,
  in charge of the plan Loire, is the Ministry of
  ecology and sustainable development
• At the local level, three categories of
  institutions are of importance
• Regional councils 10 out of 22 are integrated in
  the Loire basin
• General councils 31 departements are partially
  or totally concerned (100 in France)
• Municipalities 7 283 in the Loire basin (36 000
  in France)
• 11,5 millions inhabitants (French population is
  about 60 millions)

6
French administrative structure
7
Economic and environmental Characteristics

• A territory dominated by rural areas (average
  density is 75 p/km²)
• More than 2 700 municipalities with less than 400
  inhabitants
• 50 of national cereal productions, mainly in
  the two regions Centre and Poitou Charentes
• Industrial activity is linked to this
  agricultural feature, with a large agro-food
  production in the west and centre of the basin
• Tourism is also of importance

8
History

• Loire is considered as one of the last savage
  rivers in Europe
• A series of huge floods during the 19th century
• A programme of construction for 19 spillways,
  reinforcement of dykes and creation of dams has
  been partially achieved before 1900
• After a long period of inaction, a new programme
  for the construction of 4 dams has been set in
  1986, considered as necessary after the death of
  8 people in 1980 due to the sudden rising of
  waters

9
History (part II)

• This programme supported by the Etablissement
  Public Loire was considered as the unique
  solution to recurrent flooding
• But this vision was disputed by environmental
  associations leading to major conflicts at the
  local level
• As a response to this deadlock, the government
  decided the creation of the Plan Loire Grandeur
  Nature in 1994

10
The Plan Loire

• Initial aims
• To guaranty the safety of populations against
  flood risks
• To satisfy water needs
• To restore the ecologic diversity of the aquatic
  environment
• A ten years period but a renewal in 1999 to take
  into account institutional evolutions and to add
  a new theme heritage
• A sustainable development approach (safety,
  environment, economic development)

11
Detailed description of objectives

• Aim 1 Safety
• Identification of areas liable to flooding
• Control of space planning of these areas
• Reinforcement of alert systems and water rising
  announcement
• Planning measures for specific areas
• Aim 2 Water resources
• Water supply of Allier and Cher valleys
• Raising of the waterline
• Aim 3 Ecologic diversity of the environment
• Improving the movement of migrating fish
• Restoration of natural environments
• Reconquest of the Loire estuary
• Protecting natural spaces and landscapes

12
Answer to question 1

• Which aspects of SD do you recognize in the
  tender of the case study ?
• The Plan Loire is a SD programme but it is not
  totally clear in the tender
• The three pillars of SD are taken into account by
  the four themes of the plan Loire
• Safety can be considered as being part of the
  social pillar
• Water resource management and restoration of
  natural environments are clearly representing the
  environmental pillar
• The heritage development is the economic
  development pillar

13
Answer to question 2

• Which aspects are relevant for the evaluation ?

14
Answer to question 3

• Which aspects are beyond the scope of an
  evaluation and can not be taken into account in
  the bid?

15

• Mandat et cahier des charges

16
Priorités opérationnelles

• Rédiger un mandat dévaluation
• associer les responsables politiques
• définir les orientations de lévaluation
• Investir dans le cahier des charges
• poser les bonnes questions
• anticiper les enjeux et les limites
• Piloter le processus dévaluation
• répondre aux attentes initiales
• faire des jugements crédibles

17
Formuler le mandat d'évaluation

• Définir le champ de l'évaluation
• Définir les questions prioritaires
• Préciser le dispositif d'évaluation

18
Le mandat dévaluation

• Les objectifs de la politique évaluée
• Les objectifs de lévaluation
• Lutilité de lévaluation pour quel usage ?
• 10 à 15 questions évaluatives
• Mieux vaut plusieurs questions imprécises avec de
  bons critères que des questions tranchées sans
  critères
• Les hypothèses de lévaluation
• La durée de lévaluation

19
Avantages d'un mandat d'évaluation

• Poser les questions clés et définir lescritères
  importants
• Etablir les responsabilités et les engagements
  des autorités publiques
• Définir et attribuer les rôles opérationnels
• Préciser les échéances
• Délimiter le champ

20
Structurer le cahier des charges
1 - Cadre réglementaire 2 - Action à évaluer
3 - Qui va utiliser l'évaluation et pourquoi ?
4 - Questions évaluatives
5 - Méthodes (lignes directrices) 6 - Sources
d information
7 - Organisation de l'évaluation
8 - Calendrier indicatif
9 - Budget indicatif
10 - Qualifications requises
11 - Structure de la proposition 12 - Critères
dattribution
21
Investir dans le cahier des charges de
lévaluation
Recommandations
Pratique actuelle
Commanditaire
Mandat
Cahier des charges
Groupe de pilotage
Etude préparatoire Cahier des charges
Réalisation conclusions recommandations
Réalisation conclusions
Equipe dévaluation
Groupe de pilotage
Recommandations
Diffusion utilisation
Diffusion utilisation
Commanditaire
22

• Questions et critères dévaluation

23
Hypothèses daction
Toute politique publique relève d'une théorie du
changement social (implicite)
A lorigine  une situation problématique
nécessitant une action des pouvoirs publics
Hypothèses...
sur la nature du problème
sur les solutions à mettre en uvre
sur les liens de cause à effet
24
Modes de jugement
A quoi ça sert ?
Réalisations
Ressources
Objectifs
Action publique
Evaluation
25
Pertinence

• Dans quelle mesure les objectifs du programme
  sont-ils justifiés par rapport aux besoins ?
• Leur raison dêtre est-elle encore démontrable ?
• Correspondent-ils aux priorités locales ?
  nationales ?

26
Efficacité

• Dans quelle mesure les objectifs escomptés
  ont-ils été atteints ?
• Est-ce que les instruments mis en uvre ont
  produit les effets attendus ?
• Pourrait-on obtenir plus deffets en utilisant
  des instruments différents ?

27
Efficience

• Est-ce que les objectifs ont été atteints au
  meilleur coût ?
• Pourrait-on obtenir plus deffets pour le même
  coût ?

28
Utilité

• Est-ce que les effets attendus et inattendus sont
  globalement satisfaisants du point de vue des
  destinataires directs et indirects ?

29
Questions évaluatives
Le questionnement
Les réalisations 1 et 2 ont-elles contribué à
produire leffet X ? (cognitive)
Dans quelle mesure les réalisations 1 et 2
ont-elles suffisamment contribué à produire
leffet X ? (normative et cognitive )
Dans quels cas les réalisations 1 et 2 ont-elles
le mieux contribué à produire leffet X, et
pourquoi ? (instrumentale, normative et
cognitive)
30
Sélectionner les questions prioritaires
Le questionnement
31
Clarifier la logique de lintervention
Exportations
Survie des sociétés
Création et maintien demplois
Ouverture internationale
Croissance
?
Nouveaux produits
32
Focalisation sur une question clé
Le questionnement
Les réalisations 1 et 2 ont-elles suffisamment
contribué à produire leffet X ?
Réalisation 1
Effet
Effet X
Impact global ultime
Effet
Réalisation 2
33
Questions, critères, indicateurs
Réalisations
Résultats
Impacts
34
Question, critère, indicateur
Question Dans quelle mesure le programme a-t-il
contribué à désenclaver le territoire ?
Critères 1. Adaptation à la demande de tous les
usagers 2. Utilisation effective des moyens de
transport
Indicateurs 1. Nb de lignes de transports
collectifs 2. Temps de transport 3. Nb et type de
passagers par ligne de bus
35
Question, critère, indicateur
Question Dans quelle mesure programme a-t-il
contribué à résorber les problèmes de sécurité
dans les quartiers ?
Critères 1. Réduction des dégradations dans les
espaces publics 2. Amélioration du sentiment de
sécurité pour les habitants
Indicateurs 1. Nb de délits mineurs dans les
espaces publics (- 10) 2. Nb de plaintes (-
20) 3. dhbts qui déclarent avoir moins peur
de sortir après 20h (- 30)
36

• Conditions dintervention

37
Références de coût et de durée
Méthode

• coût de l'évaluation 0.01 0,8
  6 50 du budget du programme
• charge de travail lt 1 p-m avis d'expert 4
  p-m analyse empirique 160 p-m recherche
  sur plusieurs années
• durée mini 2 semaines ( rapide mais léger
  ) 6 à 10 mois maxi trois ans

38
Choisir la bonne équipe dévaluateurs

• Indépendance
• Profil
• Qualités méthodologiques de la proposition

39

• Sélection, déroulement et utilisation de
  lévaluation

40
Sélection dune proposition
1 Compréhension du contexte
2 Compréhension des questions
3 Examen impartial des critères
4 Pertinence des données à rassembler
5 Capacité danalyse
6 Interactivité des travaux
7 Compétences de léquipe
8 Prix
41
Exiger un rapport utile
Optimiser lutilisation
Note de synthèse (2-6 p)

• rappel des questions évaluatives
• conclusions
• recommandations

Rapport (40-70 p)

• conclusions détaillées
• informations collectées et traitées à l'appui
  des conclusions
• recommandations détaillées

Annexes (CD Rom)

• méthodes employées limites
• Compte rendus des travaux empiriques

42
Concevoir un plan de communication
Optimiser lutilisation
43
Apprécier la qualité d'une évaluation
Optimiser lutilisation
9. La clarté des comptes-rendus
44
Les composantes de la qualité
Optimiser lutilisation
Rapports