CREPUQ Atelier de rflexion De nouveaux outils de mesure pour les bibliothques universitaires

1
CREPUQ Atelier de réflexion De nouveaux
outils de mesure pour les bibliothèques
universitaires

• LibQUAL _at_ McGill
• Anastassia Khouri
• Coordonnatrice - Données et ressources
  électroniques
• anastassia.khouri_at_mcgill.ca
• http//www.library.mcgill.ca/edrs/khouri/conf/libq
  ualCREPUQ.html
• Montréal
• 11 Février 2005

2
LibQUAL _at_ McGill

• Introduction
• Nos objectifs institutionnels
• Bref historique
• Coordination, organisation déploiement du
  questionnaire WEB
• Compilation, analyse des données et
  distribution des résultats archivage
• Suivis et utilisations administratives
  subséquentes
• Perspectives davenir

3
IntroductionQuest-ce que LibQUAL

• LibQUAL est un outil Web pour évaluer nos
  services. Un outil qui nous permet didentifier
  les secteurs potentiels damélioration en
  analysant les perceptions de nos usagers.
• Un mécanisme coopératif et des protocoles pour
  lévaluation des services de bibliothèques.
• Un service aux institutions membres de ARL
• - Pour recueillir et analyser des données
• - Pour offrir de la formation et du support
• techniques.

4
Nos objectifs institutionnels

• Utiliser un outil dévaluation spécifique aux
  bibliothèques et développé par des experts.
• Recueillir et analyser systématiquement les
  perceptions de nos usagers afin daméliorer nos
  services.
• Comparer nos résultats à ceux des autres
  institutions nord-américaines.
• Faciliter le processus de planification
  stratégique, la conception de nouveaux services
  répondant aux attentes et besoins des usagers
  ainsi que lidentification des priorités.

5
Bref historique

• Décision administrative de participer à LibQUAL
  en 2000 afin de compléter dautres outils
  dévaluation.
• Première participation en 2001.
• Participation annuelle en 2001, 2002, 2003 et
  2004.
• Multiples difficultés dorganisation interne lors
  de la première année.

6
Bref historique (suite)

• Processus de gestion apprentissage technique
  concomitants en 2001.
• Utilisation minimale du rapport généré par ARL en
  2001.
• Analyse du processus de lenquête et de gestion
  interne dès la fin 2001.
• Développement de stratégies de gestion pour les
  enquêtes subséquentes.

7
Organisation administrative

• Dès 2002
• Consolidation et coordination de la gestion
  interne.
• Nomination dun contact unique auprès de ARL.
• Décisions administratives concertées
• - Directrice des bibliothèques,
• - Comité de gestion des bibliothèques et
• - Gestionnaire de lenquête LibQUAL,
• lanalyste de données et le comité de
  mise en
• place du site Web.

8
Organisation administrative (suite)

• Organisation dun site Web pour la distribution
  sélective
• des résultats des données numériques analysées.
• des commentaires des usagers.
• Site Web toujours en développement
  http//www.library.mcgill.ca/LibQUAL/

9
Calendrier

• - Nov. Décision de participation.
• - Déc. Stratégie déchantillonnage.
• - Janv. Commande de léchantillon
• . Vérification du contenu
• . Élimination des doublons et autres
  
• Fév. Déploiement une semaine après la
• semaine de lecture et suivi.

10
Calendrier (Suite)

• Mars/Avril Fermeture de lenquête.
• MaiJuin Analyse des données par ARL.
• JuinAoût Analyse des données par McGill.
• Sept.-Oct Rédaction des rapports.
• Nov./Janv. Rencontre des divers groupes
• et distribution des
  rapports.

11
Stratégies déchantillonnage

• 2001
• Échantillon n3769, Taux de rép. 18
• 2002
• Échantillon n5333, Taux de rép. 8
• 2003
• Échantillon n5923, Taux de rép. 13
• 2004
• Échantillon n6107, Taux de rép. 10

12
Échantillon par catégorie par année
13
Nombre de répondants par catégorie par année
14
Remarques sur les tableaux des échantillons et du
taux de réponses 2002

• En 2002, la chute du taux de réponses de 18 à 8
  est due à une difficulté technique de connexion
  lors des 2 premières journées. Les répondants
  avaient accès aux 3 dernières questions
  seulement.
• - Ajustement administratif nécessaire.
• - Support technique immédiat de ARL.
• En 2002, linvitation de participation à
  lenquête a été envoyée délibérément à tous les
  professeurs à temps plein (n2333). Malgré, les
  difficultés techniques, cétait le plus haut taux
  de participation à ce jour (n188, 8).

15
Remarques sur les tableaux des échantillons et du
taux de réponses 2004

• En 2004, malgré laugmentation intentionnelle de
  léchantillon de 500 étudiants de 1er cycle,nous
  constatons quun plus petit nombre a participé
  comparativement à 2003
• - (2003 n3620, rép. 369, 10)
• - (2004 n4100, rép. 330, 8)

16
Remarques sur les tableaux des échantillons et du
taux de réponses 2004 (suite)

• La baisse du taux de répondants de la catégorie
   professeurs  a changé léquilibre des
  résultats. Les années précédentes ce sont les
  étudiants du 1er cycle qui avaient les taux de
  perception  les plus bas.
• En 2004, ce sont les professeurs qui ont le taux
  le plus bas au niveau des perceptions . En
  fait, considérant les professeurs comme
  catégorie, ils classent les services en dessous
  des minima de leurs attentes.

17
Le questionnaire

• 22 questions dédiées à la qualité des services
  offerts sur 3 dimensions
• - Qualité de service (Affect of Service)
• - Bibliothèque comme espace de service
• (Library as a place)
• - Accès à linformation (Information Control)
• 5 questions locales choisies parmi une série de
  questions offertes par ARL.
• Questions déléments démographiques et dusage.
• Commentaires du répondant.

18
Questionnaire LibQUAL

• Évolution du contenu du questionnaire
• 2001 56 questions
• 2002 25 questions
• 2003 25 questions
• 2004 22 questions 5 questions locales
• (les questions locales sont choisies à partir
  dune liste de questions fournies par ARL)

19
Déploiement de lenquête LibQUAL

• Processus de marketing sur le campus
• - Article dans les journaux universitaires
• - Annonce sur le site Web de
  lUniversité et des Bibliothèques
• Ouverture de lenquête
• - Lettre dinvitation de la directrice des
• bibliothèques envoyée aux répondants
• (échantillon) avec laccès Web
• - Rappel envoyé

20
Déploiement de lenquête LibQUAL (Suite)

• - Suivi technique essentiel
• - Répondre aux questions des répondants.
• - Fermeture de lenquête.
• Disponibilité immédiate des commentaires des
  répondants.

21
Données et information reçues

• Nous recevons de ARL
• Les résultats spécifiques de McGill Rapport
  (PDF)
• Les résultats globaux des participants à LibQUAL
  - Rapport (PDF)
• Données brutes pour linstitution en format
  (.xls)
• Commentaires des usagers en format (.txt et .xls)
• Données en format SPSS pour nous permettre
  deffectuer des analyses plus pointues.

22
Données et information reçues (Suite)

• Des normes pour faciliter linterprétation des
  scores de perception.
• Accès contrôlé - par mot de passe disponible au
  contact officiel
• - à tous les rapports des participants (PDF)
• - à un environnement Web
• Interactive Statistics avec des
  possibilités de
• créer et de visualiser des tableaux
  et des graphiques de lenquête par année.

23
Réception des données

• Réception des données en format
• - Excel et SPSS.
• Réception des commentaires en format
• - Texte et Excel.
• Archivage systématique des données brutes et des
  résultats danalyse sur nos serveurs.

24
Sous-produits danalyse

• Préparation dune série de rapports danalyse
  supplémentaires.
• Distribution à des groupes ciblés
• Comité de gestion des bibliothèques (SMG).
• Responsables de bibliothèques et les Comités
  consultatifs respectifs.
• Comité consultatif du Sénat.
• Tableaux et information disponibles à partir du
  site Web.

25
Les 5 questions qui ont reçu le plus haut score
de désirabilité 2001-2004
26
Spécimen de résultats danalyse en 2004
27
Spécimen de résultats danalyse en 2004
28
Choisir les 5 questions locales

• Nécessité de bien choisir les questions.
• Possibilité de valider des questions incluses
  dans la série de 22 questions de base.
• Aucune comparaison avec dautres institutions.
• Peut répondre à des préoccupations locales.

29
Résultats danalyse stratégies de distribution
et daccès

• Distribution sélective des résultats par le WEB.
• Distribution complète des résultats au comité de
  gestion des bibliothèques (SMG).
• Distribution sélective des résultats aux
  différents comités consultatifs.
• Compilation sur demande et utilisation restreinte
  de tableaux comparatifs des données de McGill et
  dautres institutions.

30
Résultats danalyse stratégies de distribution
et daccès (suite)

• Destruction systématique des brouillons et des
  compilations test ou comparatives.
• Archivage systématique sur nos serveurs des
  données brutes et des données analysées.
• Archivage systématique de toutes les versions de
  rapports en formats (.xls, .txt, .dat, .doc,
  .pdf)
• Distribution des rapports électroniques
  exclusivement en format PDF.

31
Suivis et utilisations administrativessubséquente
s

• Suivi systématique des rencontres annuelles de
  LibQUAL ainsi que des initiatives de formation.
• Sensibiliser et former le personnel à
  linterprétation des résultats.
• Aider le personnel à accepter les évaluations et
  dépasser le stade des justifications / de la
  négation.
• Vérification systématique des scores et de leur
  introduction dans les processus de planification,
  de conception et damélioration des services
  ainsi que de la prise de décision concertée des
  priorités.

32
Suivi et utilisations administrativessubséquentes
(Suite)

• Utiliser les données de LibQUAL seules ou en
  tandem avec dautres outils disponibles
  statistiques annuelles, enquêtes nationales ou
  institutionnelles.
• Vérification de certains scores par rapport à des
  enquêtes équivalentes dans des domaines connexes.
• Mettre le résultat des analyses dans le contexte
  des programmes institutionnels.
• Voir sil y a une corrélation entre les
  commentaires reçus par LibQUAL et ceux reçus par
  les autres mécanismes de commentaires et
  suggestions disponibles sur le campus.

33
Perspective davenir

• 2005 augmenter léchantillon
• - des étudiants du 3e cycle.
• - des usagers de la Faculté de droit.
• 2005 continuer lanalyse spécifique et la
  production de rapports pour les Bibliothèques
  des Humanités et Sciences sociales, Sciences de
  la santé, Sciences et Génie ainsi que de Droit.

34
Perspective davenir (Suite)

• Analyser et comparer les données quinquennales
  de 2001-2005.
• Préparer les stratégies de participation pour
  2006 et les années subséquentes.
• Simplifier le processus danalyse et
  dinterprétation des données.
• Poursuivre linitiation/formation du personnel
  professionnel aux concepts danalyse,
  dinterprétation et dutilisation des données
  générées par LibQUAL.

35
Perspective davenir (Suite)

• Participer activement aux initiatives de
  développement et de comparaison avec les membres
  participants de la CREPUQ.

36
CONCLUSION

•  La statistique est moins une science quun
  art.
• Elle est la poésie des nombres.
• Chacun y trouve ce quil y met.
• Albert Bris (Le mot du silencieux (Lhiver nous
  fit suer), Le Devoir)