Vrification, valuation et examen Contraste et complmentarit

1
Vérification, évaluation et examen - Contraste et
complémentarité
Terry Hunt Directeur principal par intérim Centre
dexcellence en évaluation

• Petit déjeuner - causerie SCÉ
• 2 décembre 2004

2
Quest-ce que lévaluation?

• Lévaluation  fait en sorte que le gouvernement
  dispose en temps voulu de renseignements
  stratégiques, objectifs et solides au sujet du
  rendement de ses politiques, programmes et
  initiatives pour produire de meilleurs résultats
  pour les Canadiens et les Canadiennes 
  (Politique dévaluation de 2001).
• Un examen approfondi du succès, de la pertinence
  et de la rentabilité dun programme ou dune
  politique.
•  Lévaluation sert de voix indépendante qui dit
  à la direction ce que le ministère obtient pour
  ce quil dépense  (Consultations du CEE, 2004).
• Cest la seule fonction au gouvernement qui
  fournit de linformation fiable permettant de
  savoir si le gouvernement atteint les résultats
  prévus et répond de fait aux besoins des
  citoyens.
• Elle permet de tenir une discussion fondée sur
  les faits concernant laffectation et la
  réaffectation des dépenses.

3
La vérification et lévaluation sont différentes

• Ensemble de compétences, méthodes, pratiques et
  portée de lanalyse
• Le seul moyen fiable dévaluer lefficacité des
  programmes ou des politiques et lefficience de
  lexécution des programmes et des politiques (par
  exemple, un examen plus approfondi de
  loptimisation des ressources).
• Une méthode systématique pour faire participer
  les Canadiens et les Canadiennes à
  lidentification des besoins des programmes et à
  lexécution de ceux-ci.
• La vérification se penche sur la manière dont
  nous faisons les choses tandis que lévaluation
  cherche à savoir si nous faisons les bonnes
  choses et si nous les faisons de manière rentable.

4
Similitudes de la vérification et de lévaluation

• Objectivité et indépendance
• Professionnalisme
• Normes et protocoles définis
• Appui mutuel
• Liées au point de vue organisationnel
• Comités de vérification et dévaluation
• Les rapports doivent être accessibles et ils sont
  habituellement affichés

5
Évaluations et examens (réels et prévus)
200
Évaluations
153
139
138
150
138
121
Examens et autres études
116
100
97
61
50
0
2001-2002
2002-2003
2003-2004
2004-2005
Examens et autres études
Évaluations approuvées
6
Évaluations et examens (réels et prévus)
200
Évaluations
153
139
138
150
138
121
Examens et autres études
116
109
97
100
97
78
61
58
47
50
Évaluationssoumises au SCT
29
Examens et autres études présentés au SCT
3
0
2001-2002
2002-2003
2003-2004
2004-2005
7
Examens

• Accent mis sur la production rapide de
  renseignements suffisants en vue de répondre à un
  besoin urgent pour la prise de décisions
• Méthodologie secondaire à la formulation dune
  réponse satisfaisante en peu de temps
• Non-respect des protocoles et approches
  dévaluation ou de vérification
• Source Guide dévaluation des petits organismes
  publié par le SCT, décembre 2004

8
Évaluation formative

• Efficacité de la mise en oeuvre
• Lévaluation peut être menée au milieu du cycle
  dun programme, dune politique ou dune
  initiative (cest-à-dire, avant deux ans)
• Elle fournit linformation qui permettra
  daméliorer le programme, la politique ou
  linitiative

9
Évaluation sommative

• Elle porte sur les impacts et permet de prendre
  une décision quant à lefficacité globale
• Elle exerce une fonction de responsabilisation
• Elle est en général menée vers la fin du cycle
•  
• Les évaluations sommatives mettent laccent
  sur...
•   La pertinence - Est-ce que le programme est
  toujours compatible avec les priorités du
  ministère et de lensemble du gouvernement et
  est-ce quil répond véritablement à un besoin
  réel?
•   Le succès - Dans quelle mesure les résultats
  escomptés ont-ils été atteints et dans quelle
  mesure la politique, linitiative ou le programme
  a-t-il contribué à latteinte des résultats?
•   La rentabilité - Utilise-t-on les moyens les
  plus appropriés et les plus efficaces pour
  atteindre les objectifs ou y aurait-il lieu
  d'envisager d'autres modes de conception et
  d'exécution (optimisation des ressources)?

10
Vérification
La vérification interne est une fonction qui
donne des assurances quant à la stratégie de
gestion des risques dun ministère ou dun
organisme et à son cadre de contrôle et
dinformation de gestion, tant sur le plan
financier que non financier, pour la prise de
décisions et létablissement des rapports
11
Comparaison de lorientation

• Examen
• Axé de manière stratégique
• Portée limitée
• Le temps ou les ressources ne permettent pas de
  rigueur

Formative
Sommative

• Vérification
• Contrôles internes
• Gestion des risques
• Conformité - règles, règlements ou procédures
• Pratiques de gestion
• Attestation financière
• Validité de linformation financière,
  opérationnelle ou relative à la gestion

• Intégrale
• Mise en uvre et exécution des programmes
• Détermination des rajustements nécessaires
• Progrès accomplis en vue datteindre les
  résultats souhaités (logique du programme)

• Pertinence
• Efficience, efficacité et économie
• Incidences (atteinte des résultats)
• Options ou stratégies futures en vue
  daméliorations
• Incidences pour la politique

• Ciblée
• Question spécifique en gestion (p. ex., mesure du
  rendement)

12
Coordination des outils de rendement et de
surveillance

• De nombreux ministères perçoivent les outils de
  surveillance et de rendement dans un processus
• Les activités de vérification et dévaluation
  doivent être coordonnées
• Appui mutuel
• Partage des risques comme fondement de la
  planification
• Elles visent souvent les mêmes clients des
  programmes
• Pratiques innovatrices

13
Défis et possibilités
Points forts et points faibles
Mandat et vision
Stratégies et priorités de lACIA
Contrôles de gouvernance et de régie
Analyse des risques
Programmes et activités
EXEMPLE DE LACIA PROCESSUS DENGAGEMENT
Processus dengagement
Risque peu élevé
Risque plus élevé
Services consultatifs
Mesure du rendement
Vérifications internes
Évaluations des programmes
Vérifications judiciaires
Examens
Améliorations possibles
Assurance et conseils au sujet de lefficacité
des programmes
Assurance et conseils au sujet de lefficacité
des contrôles
14
Coordination - Exemple
Programmes devant être évalués
Activités de vérification
2e programme
1er programme
3e programme
Gestion des subventions et des contributions Cadr
es de contrôle Gestion des risques Attestation
financière
X
X
X
X
X
X
X
15
Solide fonction dévaluation

• Un comité actif et efficace au niveau de la
  direction existe et veille à ce que des progrès
  soient réalisés en vue de latteinte des
  résultats pour les Canadiens et les Canadiennes.
• Des plans stratégiques axés sur le risque sont
  élaborés et utilisés.
• Les activités de lunité dévaluation offrent un
  éventail de services, y compris
• Examen des CGRR ou aide à leur préparation et à
  leur utilisation
• Élaboration des systèmes de mesure et de suivi du
  rendement
• Achèvement détudes dévaluation
• Surveillance du suivi des recommandations et des
  plans daction proposés
• Un nombre suffisant dETP compétents est en place
  pour exécuter efficacement les plans dévaluation
• Les résultats des évaluations sont utilisés
  (suivi) de manière stratégique (par exemple, pour
  appuyer la réaffectation des ressources,
  létablissement des priorités, etc.)

16
(No Transcript)