EVALUATION EX ANTE DES PO 20072013

1
EVALUATION EX ANTE DES PO 2007-2013

• Thomas PEGUY - DIACT (13 avril 2006)

2
Le cadre réglementaire

• Les articles 36 et 46 du projet de règlement du
  Conseil portant dispositions générales sur le
  Fonds Européen de Développement Régional, le
  Fonds Social Européen et le Fonds de cohésion
• Le projet de document de travail de la Commission
  européenne sur l'évaluation ex ante

3
Définition de lévaluation ex ante
- Evaluation qui intervient alors que la mise en
uvre na pas encore commencé - Contribue à
faire en sorte que lintervention soit aussi
pertinente et cohérente que possible -
Processus interactif et itératif avec
lélaboration du PO - Conclusions destinées à
être intégrées au moment de la décision
4
Fonctions de lévaluation ex ante
5
Elaboration du PO et Processus dévaluation ex
ante
Services opérationnels
Gestionnaire de lévaluation
Evaluateur externe
Collectent et rédigent
Pilote /coordonne synthétise
Expertise et conseille
6
Les étapes dune évaluation ex ante
1 Analyse des leçons tirées de lexpérience 2
Evaluation de la solidité de lanalyse
socio-économique et environnementale 3
Evaluation de la pertinence et de la cohérence du
programme 4 Evaluation des impacts attendus 5
Evaluation du dispositif de mise en uvre
7
Suivi du processus
8
Etape 1 La prise en compte des leçons du
passé

• a/ Les responsables du programme
•  Elaborent un tableau de synthèse des constats et
  des recommandations
• antérieures, dans les champs présentés en
  diapo suivante
• Comprenant une colonne présentant  avis et
  décision 
• b/ Lévaluateur externe
• Expertise le tableau, au regard des documents de
  référence
• Rédige des recommandations
• c/ Les responsables du programme
•  Finalisent le tableau, en ajoutant une colonne
   avis sur les
• recommandations ex-ante 
•  Confirment ou ajustent, le cas échéant, les
  chapitres correspondants
• du document de présentation du programme
• d/ Lévaluateur externe
• Rédige le rapport dévaluation en reprenant et
  présentant les 3 étapes ci-dessus

9
Etape 1 La prise en compte des leçons du
passé
Lévaluation ex-ante porte sur lexamen des
leçons de lexpérience  1. Lefficacité des
 modalités dorganisation  (procédures,
partenariat, information, animation) (Cf.
chapitre relatif à lanalyse du dispositif de
mise en uvre ) 2. Lefficacité des  modalités
dintervention  (aides directes /
indirectes, taux de soutien, opérations
individuelles / collectives, organismes
intermédiaires, appropriation par les acteurs
cibles ) 3. La pertinence des interventions
(stratégie / diagnostic cohérence interne /
externe) 4. La performance des résultats et
impacts obtenus vis-à-vis des moyens
mobilisés (techniques, humains et financiers).
Efficacité, efficience.
10
Etape 1 La prise en compte des leçons du
passé

• La spécificité de lévaluation ex-ante sexprime
  à travers une fonction de  Contrôle
  qualité  portant sur
• Leffectivité et le champ de la prise en compte
  (ensemble ou non
• des évaluations existantes, et des domaines
  précédemment traités)
• La pertinence et la justification des
  suggestions retenues /
• rejetées
• Lappréciation de ladhésion des acteurs
  régionaux, par rapport

• aux conclusions tirées de lexpérience
• aux suggestions retenues / rejetées
• et à leur justification

11
Etape 2 Appréciation de la solidité du
diagnostic stratégique

• a/ Les responsables du programme
•  Elaborent le diagnostic stratégique
• b/ Lévaluateur externe
• Expertise le diagnostic au regard des documents
  et données de référence
• Rédige des recommandations (manques,
  faiblesses,)
• c/ Les responsables du programme, le cas échéant,
  
•  Finalisent le diagnostic, en ajoutant un  avis
  sur les recommandations 
•  Confirment ou ajustent le chapitre correspondant
  dans le PO
• d/ Lévaluateur externe
• Rédige le rapport dévaluation en reprenant et
  présentant les 3 étapes (a à c)

12
Etape 2 Appréciation de la qualité du
diagnostic stratégique
 Contrôle qualité  de lex ante porte sur -
Cohérence et la complétude du diagnostic
stratégique - Analyse des causes des disparités
identifiées - Classement des disparités et
priorités et leur traduction en objectifs -
Vérification de  ladhésion  des acteurs
(diagnostic partagé) - Adéquation (la pertinence)
du diagnostic vis-à-vis des choix
stratégiques (lorsquils auront été établis) -
Définition de bases de référence ( valeur
initiale par rapport à laquelle un indicateur de
programme sera ultérieurement mesuré) -
Pertinence dindicateurs de contexte reflétant la
structure de l'analyse socio-économique et
permettant de suivre lévolution du contexte
13
Etape 3 Pertinence et cohérence du programme Le
cur de lexercice

• a/ Les responsables du programme
•  Elaborent une stratégie, décomposée en
  objectif(s) global stratégique(s), et objectifs
  spécifiques pour chaque axes cohérents avec les
  OSC, le CRSN, et répondant aux disparités et
  priorités identifiées à la suite de la phase de
  diagnostic
• Rédigent des argumentaires à propos de la
  contribution des objectifs spécifiques à la
  stratégie du programme (justification des
  objectifs)
• b/ Lévaluateur externe
• Analyse la correspondance des objectifs avec les
  enjeux, problèmes/risques identifiés par le
  diagnostic
• Analyse larticulation des objectifs entre eux
  (hiérarchie, complémentarité, redondances) et au
  regard des politiques et priorités connexes
• Rédige des recommandations relatives à la
  pertinence et la cohérence
• c/ Les responsables du programme
•  Finalisent la stratégie, en ajoutant une colonne
   avis sur les recommandations 
•  Confirment ou ajustent, le cas échéant, les
  chapitres correspondants du document de
  présentation du programme
• d/ Lévaluateur externe
• Rédige le rapport dévaluation en reprenant et
  présentant les 3 étapes (a à c)

14
Etape 3 Pertinence et cohérence du programme
Lévaluation ex-ante porte sur 
Besoins et disparités
Résultats passés et leçons clefs
Analyse prospective
Stratégie PO
Politiquesconnexes
Objectifs
Cohérenceexterne
Pertinence et raison dêtre

15
Etape 3 Pertinence et cohérence du programme

• La spécificité de lévaluation ex-ante sexprime
  à travers une fonction de justification de
  lintervention et de  contrôle
  qualité  portant sur
• La formulation des objectifs / aux résultats
  attendus
• La logique dintervention (arbre dobjectifs
  assurant la cohérence entre les différents
  niveaux dobjectifs)
• La vérification de ladhésion des différents
  partenaires aux objectifs stratégiques
• Ladéquation des moyens aux objectifs

16
Etape 3 Pertinence et cohérence du programme
Un exemple doutil larbre dobjectifs
Objectifs globaux
Objectifs spécifiques
17
Etape 3 Pertinence et cohérence du programme

• Lévaluation ex-ante sexprime à travers une
  fonction de justification de lintervention
  et de  contrôle qualité  portant sur
• la cohérence externe avec les objectifs de la
  politique de cohésion (compétitivité,
  développement durable) et les objectifs de la
  politique de développement rural ou de la pêche.
• La cohérence avec dautres politiques de
  développement nationales (effets de synergie)
• Vérifie la prise en compte de légalité des
  chances, du développement rural (en particulier
  de lenvironnement (SEA)), de lemploi.

18
Etape 4 Examen des effets attendus

• a/ Les responsables du programme
• Elaborent des fiches dobjectifs au niveau des
  axes prioritaires
• Sengagent sur des niveaux à atteindre (ancien
  CP)
• b/ Lévaluateur externe
• Accompagne les services dans la définition des
  indicateurs quantitatifs et/ou qualitatifs
  (indicateurs en nombre limité de réalisation et
  surtout de résultat de façon à mesurer latteinte
  des objectifs et les progrès par rapport à une
  situation initiale)
• Examine les indicateurs (clarté de la définition,
  base de référence, quantification, réalisme,
  fiabilité, méthode de renseignement, source),
• c/ Les responsables du programme
• Finalisent chaque fiche, en ajoutant une colonne
   avis sur les
• recommandations 
• Confirment ou ajustent, le cas échéant, les
  chapitres correspondants
• du document de présentation du programme
• d/ Lévaluateur externe
• Rédige le rapport dévaluation en reprenant et
  présentant les 3 étapes (a à c)

19
Etape 4 Examen des effets attendus
Lévaluation ex-ante porte sur 
Exemple Aide à la création et à lamélioration
des hébergements touristiques
Outputs
Impacts
Inputs
Résultats
Subventions versées
FréquentationAttractivité touristiqueDurée des
séjours
Nbre de lits crées, améliorés
des lits créés ou améliorés qui bénéficient
dun label
Indicateurs Cibles
20
Etape 4 Examen des effets attendus

• La spécificité de lévaluation ex-ante sexprime
  à travers une fonction de  contrôle
  qualité  portant sur
• Le niveau choisi pour quantifier et qualifier
  les objectifs (résultats et/ou impacts?)
• Le réalisme, lutilité et la fiabilité des
  indicateurs et des niveaux cibles (des
  indicateurs de programme reflétant les résultats
  attendus par rapport à la situation de départ)
• La quantification
• Les modalités de renseignement
• La présence et pertinence des indicateurs clefs
  de la Commission (cf. document de travail sur les
  indicateurs)
• La prise en compte de bases de références par
  rapport à laquelle un indicateur sera
  ultérieurement mesuré
• Lintégration des priorités transversales
• La prise en compte de la valeur ajoutée
  communautaire

21
Etape 5 Examen des dispositions de mise en uvre

• a/ Les responsables du programme
•  Elaborent le dispositif de mise en uvre les
  champs 1 à 4 présentés ci-après
• b/ Lévaluateur externe
• Expertise le dispositif, notamment au regard de
  lexpérience du passé
• Rédige des recommandations (manques,
  faiblesses,)
• c/ Les responsables du programme
•  Finalisent le dispositif, en ajoutant un  avis
  sur les recommandations 
•  Confirment ou ajustent, le cas échéant, le
  chapitre correspondant
• du document de présentation du programme
• d/ Lévaluateur externe
• Rédige le rapport dévaluation en reprenant et
  présentant les 3 étapes (a à c)

22
Etape 5 Examen des dispositions de mise en uvre

• Lévaluation ex-ante porte sur la vérification
  de 
• 1. La cohérence des modalités prévues pour le
  suivi et le pilotage
• (dispositif dinstruction, de programmation,
  de paiement, de contrôle)
• Définition claire des responsabilités des
  différents acteurs (partenariat)
• autorités compétentes et institutions
  responsables
• partenaires économiques et sociaux à consulter
• mission, composition et règlement interne de
  tout comité de suivi
• procédures et critères de sélection définis de
  manière à renforcer l'efficience de la sélection
  des projets
• 2. La pertinence des mesures dinformation sur le
  programme et de publicité
• 3. La pertinence des mesures danimation /
  portage des interventions prévues (les mesures)
• 4. Vérification des modalités prévues pour
  lévaluation (dispositif ad hoc,
• organisation pour le renseignement des
  indicateurs)

23
Etape 5 Examen des dispositions de mise en uvre

• La spécificité de lévaluation ex-ante sexprime
  ici à travers une fonction de  Contrôle
  qualité  et de  Justification de la
  proposition  portant sur
• Ladhésion des acteurs à lorganisation prévue
• Le partenariat
• Le caractère opérationnel de lorganisation
  prévue (clarté, crédibilité
• ou fonctionnalité)

24
(No Transcript)
25
Le cahier des charges

• Le document de référence annexé à la circulaire
  délaboration des PO a été volontairement rédigé
  de façon très détaillée. Il permet
• - aux partenaires (comité de pilotage) d'avoir
  une vision commune de l'évaluation (champ,
  objectifs, démarche) ? facilite l'appropriation
  des conclusions
• - aux candidats d'acquérir la meilleure
  connaissance possible de la commande afin de
  faire une proposition adaptée
• - au commanditaire d'avoir un dialogue efficace
  pendant l'évaluation.