Colloque du RQVVS VVS

1
Se donner une vision commune et lévaluer
Sait-on bien travailler ensemble?

• Colloque du RQVVS VVS
• Granby, 10 septembre 2009

Paule Simard Avec la collaboration de Ginette
Paré Diane Champagne Michel ONeill
2
Contenu de latelier

• Se familiariser avec lapproche
• Comment évaluer ? Une évaluation centrée sur la
  théorie de laction

3
Se familiariser avec lapproche
4
Origine

• Demande du RQVVS
• Cadre théorique Perspective pour une
  évaluation participative de processus (INSPQ,
  2006)

• Projet de recherche
• Auto-évaluation de 8 projets de DC et A-T
• Outil dauto-évaluation pour rendre communautés
  autonome en évaluation

• Projets en cours
• Évaluation de limplantation du dispositif de
  caractérisation des communautés dans 3 régions
• Évaluation du Laboratoire rural Produire la
  santé en Gaspésie

5
Architecture du Guide

• Les sections
• Le Guide en un coup dœil
• Se familiariser avec lapproche
• Comment faire ?
• Cas Val-Pin-en-santé
• Outils
• Les icones
• Ce que je pense du Guide
• Je propose un outil
• Lexemple Val-Pin-en-santé

www.rechercheparticipative.org
6
(No Transcript)
7
À qui il sadresse?

• Tables intersectorielles, comités locaux
  (quartiers, VVS, etc.)
• Responsables
• Personnes intéressées par lévaluation
• Membres initiés à lévaluation
• Intervenants qui soutiennent les projets locaux
• OC
• Agents de développement

8
Se familiariser avec lapproche

• Définir VVS et le développement des communautés
• Sinitier à lévaluation
• Découvrir lévaluation de processus
• Concrétiser la participation en évaluation

9

• Définir le développement des communautés

10
La nature du développement des communautés

• Ce nest pas un programme avec des interventions
  prédéfinies mais un ensemble de principes
  daction
• concertation intersectorielle
• participation
• augmentation du pouvoir dagir
• Cest complexe
• il est difficile den isoler les composantes
• ne peut être reproduit en laboratoire
• et les changements sont longs à se manifester

11
Le développement des communautés cest

• un processus de coopération volontaire
  dentraide et de construction des liens sociaux
  entre les résidents et les institutions dun
  milieu local, visant lamélioration des
  conditions de vie sur le plan physique, social et
  économique.
• INSPQ, 2002

12
Les principes daction du DC

• Déterminants
• revenu et situation sociale
• réseaux de soutien social
• niveau dinstruction
• emploi et conditions de travail
• environnements physiques
• développement sain dans lenfance
• habitudes de vie et compétences dadaptation
  personnelles
• services de santé

• Principes
• POUVOIR DAGIR individuel et communautaire
• PARTICIPATION citoyenne
• CONCERTATION INTERSECTORIELLE

Changements
Changements dans le comité
Changements individuels
Changements dans la communauté
Changements matériels
13

• Sinitier à lévaluation

14
Lévaluation, quest-ce que cest?

• Porter un jugement
• sur la valeur dun OBJET défini clairement
• selon des CRITÈRES explicitement énoncés
• à partir dINFORMATIONS méthodiquement
  recueillies

15
Évaluations classique

• Implantation
• Avez-vous fait ce qui était prévu?
• Si cétait à refaire, referiez-vous la même
  chose?
• Effets
• Avez-vous atteint les objectifs fixés auprès de
  la clientèle rejointe?
• Avez-vous observé des effets non prévus,
  bénéfiques ou nocifs, pour vos participants?

... actions... activités...
Situation à la fin du projet
Situation de départ
Répercussions à long terme
16

• Découvrir lévaluation de processus

Simard, JASP 2007
17
Lévaluation dont il est question ici

• auto-évaluation participative
• de processus ou du comment-on-travaille-ensembl
  e
• intégrée à la démarche (en continu)
• et utile pour laction

ATTENTION! Ce nest pas la seule forme
dévaluation pertinente pour
le développement des
communautés
18
Lévaluation de processus
CHANGEMENTS
?
?
SITUATION DE DÉPART
19
Quel processus?

• Les processus liés à ce qui est au cœur du DC, à
  sa logique , cest-à-dire
• ses principes daction
• renforcement du pouvoir daction des individus,
  des organisations et des communautés
• participation citoyenne
• concertation et partenariat intersectoriel
• réduction des inégalités

le comment-on-travaille-ensemble
20
Évolution des processus
SITUATION DE DÉPART
21
Diminuer lisolement
2 cuisines collectives formées
18
Lise (1er gr.) accepte danimer la 2e table
4 cuisines collectives créées
Problèmes de recrutement de participantes
1er cuisine créée
12
Le comité est complet
2 premières cuisines collectives crées
La Ville et le CS travaillent ensemble pour la
1ière fois
Arrivée des épiceries
Arrivée de la Ville
6
Recrutement des participantes
Premiers contacts avec les partenaires (4/9)
Comité complet en place
Plusieurs femmes isolées
22
Un processus cest
une succession de résultats ou de petits
changements semboîtant les uns dans les autres
et menant, à moyen et à long terme, vers des
changements de plus en plus significatifs.
23
Une initiative VVS /DC

• démarche générale de linitiative tout
  leffort, systématique ou non, de concertation et
  de planification en vue de réaliser des actions
  et des projets concrets 
• actions concrètes ou projets menés par le
  comité et/ou des partenaires, mais qui ont un
  début et un fin et qui se succèdent

Simard, JASP 2007
24
Principes daction pouvoir dagir partenariat
et concertation participation citoyenne
réduction des inégalités
Changements collectifs - dans le comité -
dans la communauté individuels et
populationnels - habilités individuelles - état
de santé matériels
DÉMARCHE
Comité
Simard, JASP 2007
25
3. Faire lanalyse du contexte ou un portrait de
communauté, dun groupe ou dune problématique
2. Constituer un comité
1. Se mettre ensemble pour réaliser une
démarche
4. Développer une vision commune de la démarche
Cycle d'un projet
5. Faire un plan daction
9. Dresser un bilan final
8. Revoir les actions
6. Réaliser les actions
7. Faire un bilan détapes
26
Il faut donc identifier dans chaque projet,
démarche les PRINCIPES du COMMENT-ON-TRAVAILLE
-ENSEMBLE
Simard, JASP 2007
27

• Concrétiser la participation en évaluation

28
Pourquoi une évaluation participative?

• Les méthodologies dévaluation doivent
  concorder avec les principes qui sous-tendent
  laction en développement des communautés
• inclure un grand nombre et une grande diversité
  dacteurs
• favoriser le renforcement du pouvoir dagir
• être attentifs à la façon dont on travaille
• être souples pour pouvoir sadapter au contexte

29
Le chemin de la  connaissance 
Hancock et al., 2000
30
Liceberg des données probantes
Adaptée de McQueen, 2002
31
Auto-évaluation accompagnée...

• Communautés maîtres-dœuvre mais accompagnées
  par
• coordonnateur de projet ?
• organisateur communautaire ?
• agent de développement ?
• ressource en évaluation (CSSS et DSP) ?
• universitaire ?

32
Le transfert des connaissances
33
Comment faire?
34
3. Identifier les dimensions à évaluer
2. Constituer un comité dévaluation
4. Établir un plan dévaluation
Cycle d'évaluation
1. Décider de lévaluation
ET
Recueillir les données
6. Faire un bilan et communiquer les résultats
5. Analyser les données
35
Décider de lévaluation
_____

• Pourquoi et pour qui faire une évaluation ?
• Est-ce
• pour améliorer les actions dans la communauté?
• pour identifier les retombées du projet ou de
  lintervention?
• parce que cest une obligation des partenaires?
• pour partager avec dautres communautés ou
  intervenants de ce que vous faites?
• pour informer et motiver la communauté?

36
Constituer un comité dévaluation
_____

• Qui va faire lévaluation?
• le comité local ou un sous-comité dévaluation?
• lagent dencadrement?
• une combinaison (comité local et agents
  dencadrement) ?
• Critères de sélection de membres du comité
  dévaluation
• Être motivés
• Être capables daccomplir le travail

37
Former le comité dévaluation

• Il est important de donner une base aux membres
  des comités dévaluation sur
• lapproche dévaluation
• les outils à utiliser

38
être attentifs aux personnes moins habilitées!!!
39
Identifier les dimensions à évaluer
_____
(choisir sa paire de lunettes)
Prioriser les dimensions et sous-dimensions à
observer au cours de lévaluation Les
possibilités actions réalisées résultats
attendus principes daction Notre choix les
principes daction le comment-on-travaille-ensem
ble
40
2. Constituer un comité dévaluation
3. Identifier les dimensions à évaluer
4. Établir un plan dévaluation
Cycle d'évaluation
1. Décider de lévaluation
ET
Recueillir les données
6. Faire un bilan et communiquer les résultats
5. Analyser les données
41
Comment faire ? 2 méthodes possibles

• Chemin approfondi La théorie de laction
• pour se donner une vision commune
• à partir de laquelle on identifie des dimensions
• Chemin simplifié Choisir ses lunettes
• pour identifier directement les dimensions
  dévaluation, sous langle du comment-on-travaille
  -ensemble

42
Quest-ce quune théorie de laction?

• Théorie lintention derrière laction (comment
  on se lexplique? comment on y arriverait?).
• Comprend
• les hypothèses de travail, les stratégies et les
  principes qui servent à orienter les actions
• les croyances, les valeurs, le savoir-faire et
  le savoir-être des acteurs terrain
• Mise en commun des visées individuelles une
  vision collective de ce que lon veut faire
  ensemble

43
Étape 1 LES VISÉES DE LA DÉMARCHE

• Établir les principales visées de la démarche
• Préciser la conception globale de ce que le
  groupe veut accomplir à travers sa démarche
  collective
• Résultat 2 ou 3 grandes visées communes au
  groupe

1. Présentation de la démarche ou de la
philosophie que vous voulez implanter (20 m.) 2.
Rédaction individuelle des visées (15 m.) 3.
Affichage des vidées (15 m.) 4. Regroupement des
vidées (30 m.) 5. Définition des visées communes
(45 m.)
44
SE DONNER UNE VISION COMMUNE DE NOTRE DÉMARCHE
Pour moi, notre démarche devrait viser les
visées suivantes  Comment allons-nous
travailler ensemble? .
Visée no 2 
Visée no 1 
Visée no 3 
NOTRE DÉMARCHE
45
Étape 2 LES VISÉES DE LA DÉMARCHE

• Préciser comment le groupe pense arriver aux
  visées
• moyens envisagés
• étapes
• Résultat théorie de laction collective

1. Définition individuelle des étapes (15 m.) 2.
Partage des points de vue individuels (10 m.) 3.
Construction du chemin collectif (30 à 45 m.)
46
SE DONNER UNE VISION COMMUNE DE NOTRE DÉMARCHE
Il sagit ici de préciser les étapes qui vous
jugez nécessaire pour atteindre lobjectif, pas
nécessairement les moyens concrets mais, en
quelque sorte, les façons dêtre ou de faire à
privilégier.
47
Étape 3 LA VALIDATION

• Construire un modèle graphique de la vision
  commune du groupe
• Cerner si ce modèle convient à votre groupe et
  apporter les ajustements nécessaires
• Résultat Une théorie de laction  terminée 
  mais jamais  définitive 
• Suite revalider et modifier en fonction de
  changements de contexte

1. Discussion sur la figure finale 2.
Modification 3. La suite plan daction OU
questions dévaluation
48
SENNETERRE EN SANTÉ PROJET VVS
OFFRIR UN MILIEU PHYSIQUE ET SOCIAL DE STIMULANT
QUI FAVORISE LAMÉLIORATION DE LA QUALITÉ DE VIE
Assurer léquité dans la représentation
autochtone homme/femme intergénérationnelle
Le comité se donne des règles de fonctionnement
La Ville apporte un soutien matériel, financier
et humain au comité VVS
FAVORISER ET DÉVELOPPER LA PARTICIPATION
CITOYENNE ET LA CONCERTATION ENTRE LES
PARTENAIRES DU MILIEU
Faire connaître le comité de partenaires et le
projet VVS à la population
Faire un plan daction pour le projet VVS
Faire connaître le projet VVS au conseil
municipal et aux partenaires éventuels
Définir un projet VVS préliminaires (à partir des
principes VVS)
Finaliser le projet VVS
Créer un comité de partenaires
Apprendre à se connaître motivations
valeurs bons coups
afin dobtenir leur participation au projet VVS
Aller chercher des idées pour alimenter le plan
daction
OFFRIR UN CADRE DE VIE FAVORISANT LINTÉGRATION
DE NOUVEAUX ARRIVANTS
49
Théorie de laction locaux de
jeunes
Les jeunes se réalisent
Les jeunes apprennent la vie en groupe
Jeunes du milieu rural
Les jeunes adhèrent aux règles
Les jeunes simpliquent dans la vie du local
Présence dadultes sensibles aux jeunes
Améliorer les compétences individuelles des
jeunes dans un but dautonomie et didentité
Présence de jeunes qui veulent
Les jeunes fréquentent le local
Les jeunes développement un sentiment
dappartenance
Les jeunes organisent la vie de groupe
Organisation dactivités
Formation dun comité provisoire
Les jeunes assument des responsabilités
Les jeunes développent des relations privilégiées
avec un adulte
Trouver un local
Identification des appuis Mise en action de la
communauté
interne
Les jeunes deviennent acteurs dans leur communauté
Mobiliser les jeunes dans la communauté
Consolidation/ développement de partenariat
Les jeunes sont responsables de la vitalité du
groupe
externe
Les jeunes se donnent et relèvent des défis
Les jeunes acquièrent une reconnaissance sociale
Fondation du local/ comité
Présence dun adulte significatif animateur
Développement de la structure démocratique
Organisation de projets
Favoriser la participation du groupe de jeunes au
dynamisme de sa communauté
Groupe qui devient un acteur important dans la
communauté
Les adultes soutiennent les jeunes
La communauté reconnaît le caractère
indispensable des jeunes
Les locaux/comités sont les seules structures
pour les jeunes
50
1. Construire un plan dévaluation
_____

• Identifier les méthodes de collecte de données
• Systématiques (rigoureuses et régulières)
• pertinentes
• réalistes
• Définir les ressources nécessaires
• Préciser léchéancier

51
Les dimensions
Par exemple
INDICATEURS
Principe
Sous-dimensions
Objets à observer
Dimensions
Intérêt manifesté
Participation aux discussions
Proposition de sujets
Niveau dengagement des partenaires
Évolution de la concertation
Cheminement de la contamination
Autonomie des partenaires
Projets réalisés au sein du comité et en dehors
52
2. Recueillir les données
_____

• Les défis de la collecte des données dans ce
  type dévaluation sont
• didentifier des modes de collectes simples et
  rapides à compléter
• davoir des dimensions claires, comprises par
  tout le monde
• de demeurer constant et systématique
• de retourner régulièrement aux informations déjà
  recueillies pour suivre lévolution
• davoir une personne qui croit en cette démarche
  (qui soit motivée et capable)

53
cest important...
être rigoureux, mais demeurer réaliste
54
La collecte en cours de processus

• Développer les outils nécessaires
• cahier de bord (mini-cahier)
• procès-verbal ou compte-rendu intégrant les
  dimensions à évaluer
• feuille de route/fiche
• agenda
• ligne du temps
• etc.

55
Dimension principale relative au principe daction
Principe à évaluer
Fonctionnement du comité
Démocratie participative
Description de ce qui est observé concernant la
dimension
Ce quon pense, comment on analyse les faits
observés
56
Mini-cahier individuel
Quest-ce que jai à dire sur les règles qui
régissent les débats lors des réunions du
comité 1. Mon observation concerne  ____________
__________________________________________________
__________________________________________________
__________________________________________________
__________________________________________________
__________________________________________________
__________________________________________________
__________________________________________________
______________ Signature 
_____________________ Date de
lobservation ___________
57
3. Identifier les dimensions à évaluer
2. Constituer un comité dévaluation
4. Établir un plan dévaluation
Cycle d'évaluation
1. Décider de lévaluation
ET
Recueillir les données
6. Faire un bilan et communiquer les résultats
5. Analyser les données
58
Analyser les données
_____

• Regrouper les données par dimension/sous-dimension
  et les organiser en fonction du temps (montrer
  lévolution)
• Le tableau de cheminement
• Faire ressortir les constats pour chacune des
  dimensions/sous-dimensions
• Faire les liens entre les constats

59
COMITÉ LA FERME, VILLEMONTEL  EN SANTÉ À
TRÉCESSON RÉTROSPECTIVE DES JOURNAUX DE BORD
(octobre 2005 à juin 2006)
60
3. Identifier les dimensions à évaluer
2. Constituer un comité dévaluation
4. Établir un plan dévaluation
Cycle d'évaluation
1. Décider de lévaluation
ET
Recueillir les données
6. Faire un bilan et communiquer les résultats
5. Analyser les données
61
Utiliser les résultats
_____

• Dans un processus dévaluation continue
• dresser des bilans périodiques
• dresser des bilans détapes
• Il faut alors
• mettre les résultats dans une forme adaptée aux
  besoins
• partager et valider les résultats avec le comité
  et la population

62
et surtout
célébrer les bons coups!!!
63
2. Constituer un comité dévaluation
3. Identifier les dimensions à évaluer
4. Établir un plan dévaluation
1. Décider de lévaluation
ACTION
ET
Recueillir les données
6. Faire un bilan et communiquer les résultats
5. Analyser les données
64
Lévaluation de processus permet

• dévaluer ce qui est au cœur du développement
  communautaire le comment-on-travaille-ensemble
• de montrer les avancées à court et à moyen terme
  dun projet
• dencourager une réflexion régulière sur
  laction, sur les façons de travailler ensemble
• de réorienter laction
• de donner de la légitimité aux projets locaux
• de maintenir et de faire évoluer la dynamique de
  la communauté
• de porter un jugement à partir de critères
  propres aux acteurs locaux

65
Points de vue sur lexpérience

•  Oblige à un exercice de réflexion et
  danalyse formel, planifié et volontaire. 
•  Permet de nommer les choses, didentifier
  les points forts, fragiles ou démobilisants du
  projet, de réfléchir, de prendre du recul. 

Ce que cela nous apprend évaluation utile parce
quelle permet de se questionner sur ce que lon
fait
-- Cest astreignant. -- Ça demande
beaucoup de temps.
Ce que cela nous apprend il faut trouver des
façons de recueillir des données adaptées au
contexte
Simard, JASP 2007
66
Contributions
Équipe Paule Simard Direction de santé
publique de lAbitibi- Témiscamingue Institut
national de santé publique Centre
collaborateur de lOMS pour le développement
des Villes et Villages en santé Ginette Paré
Direction de santé publique de
lAbitibi- Témiscamingue Diane Champagne
Université du Québec en Abitibi- Témiscamingu
e Michel ONeill Université Laval Paul
Montminy Réviseur Financement Fondation Lucie
et André Chagnon
Simard, JASP 2007