Comment les

1
Comment les évaluations sont réalisées à RNCan
Division de lévaluation stratégique Ressources
naturelles Canada
2
But

• Fournir de linformation sur la façon de
  planifier, établir le coût et diriger des
  évaluations lorsque celles-ci sont incluses dans
  le plan quinquennal dévaluation du Ministère.

3
Le cycle des rapports dévaluation
DÉMARRAGE Étude dévaluation (2-3 mois)
Mise en application/suivi du changement
Mandat
Affichage sur Internet de lapprobation du CEM
(2-3 mois)
La réalisation des évaluations de grande
envergure prend normalement entre 12 et 18 mois.
Certaines phases peuvent se chevaucher.
Passation de marchés (3-4 mois)
Travail sur le terrain/analyse (6-8 mois)
Réponses de la direction (1 mois)
Rapport et recommandations (2-4 mois)
4
Examen de lévaluation

• Les études dévaluation sont préparées sur les
  bases suivantes 
• les profils de programme (p. ex. objectifs
  modèles logiques organisation et gouvernance
  dépenses évaluation de linformation sur le
  rendement)
• la calibration de lévaluation basée sur des
  critères de risque, dans le cadre du plan
  quinquennal général
• (cest-à-dire renouvellement de programme
  importance relative contexte et besoin
  visibilité pratiques et structure de gestion
  complexité des politiques et de lexécution
  mesure du rendement évaluation antérieure et
  conclusions de lévaluation)
• les points à évaluer (la politique du SCT
  détermine les points à évaluer génériques et
  ceux-ci peuvent être complétés par dautres
  points à évaluer déterminés par le Programme)
• un plan initial quant à la façon dexécuter
  lévaluation (cest-à-dire méthodes à suivre et
  niveaux deffort stratégies de passation de
  marchés calendrier dexécution coûts
  estimatifs).
• Les études dévaluation sont établies selon
  lexpérience et le jugement professionnel.

5
Considérations de portée/coûts

• Daprès létude dévaluation, la portée et les
  coûts sont établis en tenant compte des éléments
  suivants
• Normes minimums de la politique du SCT et des
   sources de données  requises (p. ex.
  documents entrevues données administratives
  résultats denquêtes études de cas groupes de
  consultation).
• Évaluation des risques internes de la DES selon
  dautres méthodes favorisant la qualité, la
  rigueur et la richesse de lévaluation.
• Niveau suffisant de preuve à recueillir pour
  permettre de tirer des conclusions touchant
  chaque programme (en particulier les programmes
  de S et C).
• Il y a de nombreux facteurs de risque (page
  précédente) et autres considérations, p. ex. 
• nombre de programmes, disponibilité des données,
  évaluations antérieures
• suffisamment de répondants pour assurer un compte
  rendu complet
• des entrevues en personne sont toujours
  préférables à des entrevues par téléphone
• les enquêtes fournissent une information moins
  approfondie provenant de nombreuses personnes
• les études de cas apportent des connaissances
  approfondies sur un projet et sur la façon dont
  les projets aident à atteindre les objectifs du
  programme.
• Nécessité de la passation de marchés.

6
Passation de marchés

• On peut recourir à des entrepreneurs au sein de
  léquipe dévaluation dans les circonstances
  suivantes
• Le besoin dune expertise en la matière
• Considérations de capacité interne et choix du
  moment
• Le besoin de lengagement dune tierce partie
  (non RNCan).
• Loptimisation des ressources (combinaison
  optimale des ressources internes et externes) est
  déterminée par les éléments suivants 
• La disponibilité de personnel interne pour
  répondre aux exigences
• Le processus dapprovisionnement concurrentiel
  conçu pour obtenir la meilleure valeur pour
  lÉtat.
• Léquipe dévaluation dispose dune entente
  dapprovisionnement avec neuf cabinets
  dévaluation en vertu dun processus
  concurrentiel de qualification du cabinet et des
  entrepreneurs.
• Selon le mandat, une demande de proposition est
  envoyée à au moins 4 cabinets.
• La passation de marché prend au moins 3 mois
  depuis de lénoncé de travail jusquau marché
  signé.
• Les réponses à la demande de proposition offrent
  des suggestions quant à la modification de
  lénoncé de travail et à ce que la société est
  prête à faire en fonction du budget disponible.
• Si un expert en la matière est requis, léquipe
  dévaluation conclut un marché directement avec
  lexpert pour lintégrer à léquipe (p. ex.
  expertise nucléaire).
• KPMG Science Metrix PMN PRA Goss GilroyTDV
  Global Boulton Baastel CPM.

7
Mandat

• Le mandat découle de létude dévaluation et de
  lanalyse de la portée et des coûts.
• Le mandat doit être approuvé par le Comité
  dévaluation.
• Le mandat comprend
• aperçu de lentité évaluée
• enjeux et points à évaluer
• méthodes (p. ex. entrevues, enquêtes) à suivre
• méthode de passation de marchés (cest-à-dire
  interne, sous-traitance ou hybride)
• calendriers dexécution
• ressources requises (p. ex. coûts contractuels
  estimatifs)
• gouvernance (p. ex. groupes de travail du
  programme et agents dévaluation).

8
Travail sur le terrain

• Les évaluateurs travaillent sur plusieurs projets
  simultanément.
• Le travail sur le terrain soulève de nombreux
  défis 
• le travail sur le terrain exige lapport de
  programmes
• les coordonnées concernant les enquêtes et les
  répondants ne sont pas toujours facilement
  disponibles
• les entrepreneurs ont beaucoup de difficulté à
  gérer les retards involontaires
• le travail est touché par des variables
  saisonnières p. ex. les répondants ne sont pas
  disponibles en été les entrepreneurs et les
  responsables des programmes sont très occupés à
  lapproche du 31 mars.
•  Des rapports techniques sont généralement
  produits pour chaque méthode (p. ex. entrevues).
  Toute linformation est analysée par point à
  évaluer.
• Des conclusions préliminaires sont présentées aux
  responsables des programmes pour confirmer les
  conclusions et solliciter toute information
  supplémentaire.

9
Rapport et recommandations

• Les conclusions préliminaires servent à mettre en
  évidence et à valider les enjeux importants
  découlant de la preuve recueillie et à fournir
  une base pour le plan du rapport.
• Le rapport est rédigé et les recommandations sont
  établies daprès les conclusions.
• Le rapport provisoire est examiné en détail par
  les responsables du Programme et des discussions
  sont entamées au sujet des recommandations
  (découlent-elles des conclusions sont-elles
  logiques peuvent-elles être mises en œuvre).
• La longueur de lévaluation dépend de la
  complexité du sujet (p. ex. un seul ou de
  nombreux programmes) et de la nécessité de
  présenter une preuve.
• Les réponses de la direction et le plan daction
  sont rédigés par les responsables des programmes
  et lapprobation du SMA est requise.

10
Approbation et affichage des rapports

• Le CEM informe le sous-ministre (SM) du rapport
  et des réponses de la direction et des plans
  daction. Le SM doit approuver.
• Les rapports approuvés par le SM sont transmis au
  SCT et leur qualité peut être vérifiée durant
  lexamen annuel de lévaluation du CGR.
• La politique dévaluation exige des rapports
  dévaluation complets et approuvés de concert
  avec les réponses de la direction et les plans
  daction qui doivent être affichés dans les deux
  langues officielles le temps qui convient
  (cest-à-dire 90 jours).
• Les rapports sont examinés par le secrétariat de
  lAIPRP et Communications.
• Au besoin, Communications et les responsables des
  programmes préparent des info-capsules.

11
Réponses de la direction et suivi

• Les SMA sont responsables de la mise en œuvre des
  plans daction pour chaque recommandation.
• La Division de lévaluation et les secteurs
  assurent le suivi de la mise en œuvre des plans
  daction et tiennent le CEM au courant.
•  Le CEM détermine si les réponses de la direction
  ont été mises en œuvre de façon satisfaisante et
  le moment où le dossier peut être fermé.
• Lactivité ou le programme sont réexaminés dans
  le cadre du plan dévaluation dans le cycle
  dévaluation suivant.

12
Quest-ce que lévaluation ajoute?

• Responsabilisation (rapports affichés et
  introduction dans les RMR)
• Intégration stratégique dans la prise de décision
  et lélaboration de programmes (p. ex. aide à
  lélaboration de modèles logiques et de
  stratégies de mesure du rendement)
• y compris linformation pour les MC et les
  présentations au CT
• Perspectives neutres et méthodes de collecte de
  données supplémentaires
• Preuve pour les examens internes (examens
  stratégiques/DORS, etc.)
• Changement rectificatif, commençant avant que
  lévaluation se termine
• Suivi des recommandations

13
Conclusions

• Nous espérons que cette présentation a permis de
  mieux comprendre la façon de planifier, établir
  le coût et diriger des évaluations.
• Des questions? Envoyez-les à dvinette_at_nrcan.gc.ca