M

1
Méthodes dévaluation des IHM (1)

• Alain Giboin
• INRIA Sophia Antipolis
• Module IHM - ESSI
• Mars 2002

2
Méthodes dévaluation

• Méthodes  sans utilisateurs 
• Evaluation heuristique
• Cognitive walkthrough
• Méthodes  avec utilisateurs 
• Evaluation coopérative

3
Methodes dévaluation

• Evaluation coopérative
• Evaluation heuristique
• Cognitive walkthrough

4
Evaluation coopérative Présentation générale

• Auteurs Monk, Wright, Haber et Davenport (1993)
  
• Méthode conçue pour des informaticiens par des
  psychologues spécialistes des IHM

5
Evaluation coopérative Présentation générale

• Quel est le but de la méthode ?
• Obtenir des données sur les problèmes que peut
  rencontrer lutilisateur dun logiciel
• L'objectif n'est pas de fournir une liste
  exhaustive des problèmes pouvant être identifiés.
  
•  Il est plutôt d'aider à identifier, avec le
  minimum d'effort, les problèmes les plus
  importants à considérer.
• afin d'améliorer ce logiciel

6
Evaluation coopérative Présentation générale

• À qui est destinée cette méthode ?
• L'évaluation coopérative peut être utilisée par
  des concepteurs ne possédant pas de connaissances
  spécialisées en ergonomie.

7
Evaluation coopérative Présentation générale

• Quand utiliser cette méthode ?
• L'évaluation coopérative est le plus utile pour
  avoir un retour précoce sur la reconception dans
  un cycle itératif rapide.

8
Evaluation coopérative Présentation générale

• Méthode adaptée aux étudiants en informatique de
  lESSI
• Auteur A.G.
• Définition procédure permettant aux étudiants
  de l'ESSI d'obtenir des données sur les problèmes
  importants que pourraient rencontrer les
  utilisateurs de leur interface, et d'améliorer
  ensuite cette interface.

9
Méthodes dévaluation

• Evaluation coopérative
• Méthode originale
• Méthode adaptée aux étudiants en informatique
• Evaluation heuristique
• Cognitive walkthrough

10
Méthode originale

• Ses étapes
• Étape 1/ Recruter des utilisateurs
• Étape 2/ Préparer des tâches à exécuter par les
  utilisateurs
• Étape 3/ Interagir et enregistrer

11
Méthode originale

• Ses étapes
• Étape 1/ Recruter des utilisateurs
• Étape 2/ Préparer des tâches à exécuter par les
  utilisateurs
• Étape 3/ Interagir et enregistrer

12
Méthode originale 1/ Recruter des utilisateurs

• Définir la population cible
• Par les dimensions de l'utilisateur

13
Dimensions de l'utilisateur
1/ Recruter des utilisateurs
14
Méthode originale 1/ Recruter des utilisateurs

• Définir la population cible
• Par les dimensions de l'utilisateur
• À l'aide de typologies d'utilisateurs
• Exemple Utilisateurs de documentation
  électronique (cf. Horton, 1990)

15
Typologies d'utilisateurs
1/ Recruter des utilisateurs
Utilisateurs de documentation électronique (cf.
Horton, 1990)
16
Méthode originale 1/ Recruter des utilisateurs

• Nombre d'utilisateurs à recruter
• Entre 1 et 5 utilisateurs par itération, tôt dans
  le processus de conception
• Sources possibles de recrutement

17
Sources possibles de recrutement
1/ Recruter des utilisateurs
18
Méthode originale 1/ Recruter des utilisateurs

• Si les utilisateurs recrutés ne sont pas les
  utilisateurs cibles
• Ces utilisateurs ont -ils les mêmes
  caractéristiques que les utilisateurs cibles ? En
  particulier (cf. tableau)

19
Utilisateurs ¹ Utilisateurs cibles
1/ Recruter des utilisateurs

• Caractéristiques importantes
• Connaissance du domaine de la tâche
• Expérience de l'informatique
• Aptitude à manipuler les dispositifs d'entrée
  (clavier, etc.)
• Niveau d'éducation
• Manière d'aborder les situations de résolution de
  problèmes

20
Méthode originale 1/ Recruter des utilisateurs

• Modalités de recrutement
• Questions à se poser
• Une permission pour les utilisateurs est-elle
  nécessaire ?
• Des arrangements administratifs doivent-ils être
  faits ?

21
Méthode originale

• Ses étapes
• Étape 1/ Recruter des utilisateurs
• Étape 2/ Préparer des tâches à exécuter par les
  utilisateurs
• Étape 3/ Interagir et enregistrer

22
Méthode originale 2/ Préparer les tâches à
exécuter par les utilisateurs

• Objectif
• Préparer une feuille de tâches
• Ces tâches doivent être représentatives des
  tâches réelles des utilisateurs
• Elles doivent permettre une exploration
  minutieuse de l'interface

23
Méthode originale 2/ Préparer les tâches

• Objectif
• Préparer une feuille de tâches
• Caractéristiques de la feuille de tâches
• Contenu liste des tâches que les utilisateurs
  essaieront de réaliser à l'aide du prototype
• La liste sera donnée à l'utilisateur au début de
  la séance d'évaluation

24
Méthode originale 2/ Préparer les tâches

• Objectif
• Préparer une feuille de tâches
• Caractéristiques de la feuille de tâches
• Questions à se poser sur les tâches

25
Objectif
2/ Préparer les tâches

• Questions à se poser sur les tâches
• Les tâches choisies sont-elles réalisables à
  l'aide du prototype ?
• Les tâches vont-elles amener l'utilisateur à se
  centrer sur les parties de l'interface
  auxquelles vous vous intéressez ?
• Combien de temps avez-vous alloué pour chaque
  utilisateur ?
• À combien estimez-vous le temps nécessaire à
  chaque utilisateur pour réaliser les tâches ?
• Le temps imparti dépasse-t-il d'au moins 50 le
  temps nécessaire pour réaliser les tâches ?
• L'énoncé des tâches est-il suffisamment clair
  pour un utilisateur novice ?

26
Méthode originale 2/ Préparer les tâches

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Exemple de tâche non spécifique
• "Réalisez la tâche que vous effectuez
  normalement."
• Exemple de tâche spécifique
• "Dessinez une maison avec une porte, quatre
  fenêtres et une cheminée."

27
Méthode originale 2/ Préparer les tâches

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Les tâches sont-elles représentatives ?
• En discuter avec les utilisateurs
• En discuter avec d'autres spécialistes de
  l'entreprise

28
Méthode originale 2/ Préparer les tâches

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Les tâches sont-elles représentatives ?
• Que faire si l'utilisateur ne termine pas la
  tâche ou la termine trop rapidement ?
• Décider d'un temps maximum pour chaque tâche
• Ajouter des tâches supplémentaires
• Tâches plus simples pour les utilisateurs n'ayant
  pas terminé
• Autres tâches pour les utilisateurs ayant terminé
  plus rapidement que prévu

29
Méthode originale 2/ Préparer les tâches

• Choses à surveiller pendant la préparation des
  tâches
• Les tâches sont-elles spécifiques ?
• Les tâches sont-elles représentatives ?
• Que faire si l'utilisateur ne termine pas la
  tâche... ?
• Examen des fonctions importantes
• Double examen
• Examen en début de séance
• Examen en fin de séance

30
Méthode originale

• Ses étapes
• Étape 1/ Recruter des utilisateurs
• Étape 2/ Préparer des tâches à exécuter par les
  utilisateurs
• Étape 3/ Interagir et enregistrer

31
Méthode originale 3/ Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

32
Méthode originale 3/ Interagir et enregistrer

• Avant l'arrivée des utilisateurs
• Objectif
• Vérifier que tout est en place et complètement
  opérationnel
• Pour cette vérification, utiliser la check-list
  suivante

33
Check-list
3/ Interagir et enregistrer

• À vérifier
• Le prototype est-il prêt à l'utilisation dans un
  environnement suffisamment tranquille ?
• La feuille de tâche est-elle disponible ?
• Moyen d'enregistrer ce que dit l'utilisateur
  (magnétophone, micro connecté à vidéo) ?
• Moyen d'enregistrer ce que fait l'utilisateur
  (vidéo, log) ?
• Carnet ou feuille pro-forma sur lesquels prendre
  des notes ?
• Liste de questions à poser pendant le debriefing
  ?
• Avez-vous prévu ce que vous allez dire à
  l'utilisateur quand il arrive ?
• Avez-vous manipulé vous-mêmes la feuille de
  tâches pour préciser ce à quoi s'attendre ?
• Avez-vous vérifié le bon fonctionnement des
  appareils d'enregistrement ?

34
Méthode originale 3/ Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

35
Méthode originale 3/ Interagir et enregistrer

• À l'arrivée des utilisateurs
• Principes gouvernant la séance
• Conduite de la séance mode informel (discussion
  libre sur le système)
• Statut des utilisateurs co-évaluateurs et non
  sujets d'expérience

36
Méthode originale 3/ Interagir et enregistrer

• À l'arrivée des utilisateurs
• Principes gouvernant la séance
• Conduite de la séance
• Statut des utilisateurs
• Indiquer aux utilisateurs ce que l'on attend de
  la séance
• observer en quoi le système peut les induire en
  erreur ou leur rendre difficiles certaines tâches
  
• et non relever les erreurs qu'ils commettent ou
  noter ce qu'ils sont incapables de faire
• C'est le système qui est évalué et non
  l'utilisateur

37
Méthode originale 3/ Interagir et enregistrer

• À l'arrivée des utilisateurs
• Actions
• Mettre les utilisateurs en confiance
• Démarrer l'enregistrement de la séance (pour ne
  pas oublier)
• Se présenter
• Qui vous êtes
• Objectif de la séance
• Souligner que c'est le système qui est évalué et
  non l'utilisateur
• Expliquer la philosophie de lévaluation
  coopérative

38
Méthode originale 3/ Interagir et enregistrer

• À l'arrivée des utilisateurs
• Actions (suite)
• Expliquer lévaluation coopérative
• Décrire la technique
• Indiquer à l'utilisateur que ses paroles seront
  enregistrées mais qu'elles resteront
  confidentielles
• Présenter la feuille de tâches
• Préciser que les tâches ne sont pas un test, mais
  juste une manière d'introduire l'utilisateur aux
  différentes parties du système
• Conseil pour garder son caractère informel à
  cette étape, ne pas rédiger de consigne

39
Méthode originale 3/ Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

40
Méthode originale 3/ Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Laisser parler les utilisateurs
• Etre attentif à ce qui se passe

41
Méthode originale 3/ Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Actions
• Encourager les utilisateurs à parler à voix haute
  pendant qu'ils utilisent le système
• Demander aux utilisateurs de commenter en direct
• ce qu'ils font et
• ce qu'ils vont faire

42
Méthode originale 3/ Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Actions
• Encourager les utilisateurs à parler à voix haute
• S'assurer de la (relative) continuité du dialogue
• en posant des questions appropriés chaque fois
  que cela est possible

43
Pendant la réalisation des tâches
3/ Interagir et enregistrer

• Questions
• Comment fait-on ça ?
• Que voulez-vous faire ?
• Qu'arrivera-t-il si... ?
• Que vient de faire le système ?
• Que veut vous dire le système avec ce message ?
• Pourquoi le système a-t-il fait cela ?
• À quoi vous attendiez-vous ?
• Qu'êtes-vous en train de faire maintenant ?

44
Méthode originale 3/ Interagir et enregistrer

• Pendant la réalisation des tâches
• Impératifs
• Actions
• Encourager les utilisateurs à parler à voix haute
• S'assurer de la (relative) continuité du dialogue
• Noter chaque occurrence de comportement inattendu
  et chaque commentaire sur l'utilisabilité du
  système

45
Pendant la réalisation des tâches notations
3/ Interagir et enregistrer

• Définitions
• Comportement inattendu quand les utilisateurs
  font quelque chose que le concepteur n'a pas
  prévu.
• Exemple L'utilisateur tape une série imprévue
  de commandes
• Commentaires commentaires et évaluations
  subjectifs (positifs ou négatifs) de l'interface.
  
• Exemples
• "C'est chouette de pouvoir faire ça sans avoir à
  retaper tout."
• "Ça exige beaucoup d'effort."
• "Je déteste devoir faire ça deux fois."

46
Pendant la réalisation des tâches notations
3/ Interagir et enregistrer

• Procédure
• Faute de temps pour prendre des notes détaillées,
  
• noter l'endroit de la bande magnétique où se
  trouve le comportement ou le commentaire
• et décrire brièvement (si possible en un mot) ce
  qui est arrivé

47
Pendant la réalisation des tâches notations
3/ Interagir et enregistrer

• Avertissement
• Ne pas laisser la prise de notes interférer
• avec l'objectif prioritaire de créer un dialogue
  avec l'utilisateur
• Arrêter la prise de notes si cela arrive

48
Pendant la réalisation des tâches notations
3/ Interagir et enregistrer
Exemple de pro-forma pour la prise de notes
49
Méthode originale 3/ Interagir et enregistrer

• Sous-étapes
• Avant l'arrivée des utilisateurs
• À l'arrivée des utilisateurs
• Pendant la réalisation des tâches
• Debriefing

50
Méthode originale 3/ Interagir et enregistrer

• Debriefing
• Principe
• Discussion avec l'utilisateur lorsque ce dernier
  a terminé toutes ses tâches
• Discussion sur ce que chacun pense être les
  problèmes d'utilisabilité les plus importants du
  système
• Discussion sur la technique elle-même
  d'évaluation coopérative
• Des commentaires très intéressants peuvent surgir
  de cette phase

51
Méthode originale 3/ Interagir et enregistrer

• Debriefing
• Questions de référence sur le prototype
• Quelle est la plus grande qualité du prototype ?
• Quel est le plus grand défaut du prototype ?
• Qu'est-ce qui a le plus besoin d'être changé ?
• Avez-vous trouvé les tâches faciles à réaliser ?
  
• Questions spécifiques sur le prototype

52
Méthode originale 3/ Interagir et enregistrer

• Debriefing
• Questions de référence sur lévaluation
  coopérative
• L'enregistrement vous a-t-il gêné ?
• Est-ce que les tâches étaient semblables à ce que
  vous avez l'habitude de faire ?
• Avez-vous trouvé le prototype réaliste ?

53
Méthode originale 3/ Interagir et enregistrer

• Debriefing
• Utilisation des questions de référence
• Les photocopier et les utiliser comme
   déclencheurs 
• Ces questions étant générales, les compléter par
  des questions plus spécifiques de son cru sur des
  aspects plus particuliers du système
• sur les noms de menus
• sur les valeurs par défaut
• etc.

54
Méthode originale 3/ Interagir et enregistrer

• Debriefing
• Formulaire complémentaire
• Questionnaire (simple) à remplir par les
  utilisateurs
• Cas d'utilisation
• Utilisateurs nombreux
• Besoin d'avoir un retour plus formel

55
Méthode originale 3/ Interagir et enregistrer

• Second Debriefing
• Principe
• Revoir les utilisateurs une seconde fois (seuls
  ou en groupe)
• pour clarifier son interprétation des problèmes
  importants d'utilisabilité et
• discuter des changements possibles à faire sur le
  système

56
Méthodes dévaluation

• Evaluation coopérative
• Méthode originale
• Méthode adaptée aux étudiants en informatique
• Evaluation heuristique
• Cognitive Walkthrough

57
Méthode adaptéeaux étudiants en informatique

• Objectif
• Situation de conception
• Réaliser une première évaluation des maquettes
  d'interface construites à l'issue des premières
  séances de TP
• Situation de reconception
• Évaluation des interfaces à re-concevoir
• Évaluation des maquettes

58
Méthode adaptée aux étudiants en informatique

• Ses étapes
• Étape 1/ Préparer l'évaluation
• Étape 2/ Réaliser l'évaluation
• Étape 3/ Analyser les résultats de l'évaluation
• Étape 4/ Tirer les conséquences de l'évaluation
• Étape 5/ Rédiger le compte rendu de l'évaluation

59
Méthode adaptée aux étudiants en informatique

• Ses étapes
• Étape 1/ Préparer l'évaluation
• Étape 2/ Réaliser l'évaluation
• Étape 3/ Analyser les résultats de l'évaluation
• Étape 4/ Tirer les conséquences de l'évaluation
• Étape 5/ Rédiger le compte rendu de l'évaluation

60
Méthode adaptée 1/ Préparer lévaluation

• Sous-étapes
• Former les équipes d'évaluation (1.1)
• Définir les tâches (1.2)
• Préparer des questions (1.3)
• Préparer des feuilles de notation (1.4)

61
Méthode adaptée 1/ Préparer lévaluation

• Former les équipes d'évaluation (1.1)
• Constitution des équipes
• Chaque équipe comporte
• les évaluateurs proprement dits et
• un utilisateur
• Les évaluateurs appartiennent au groupe qui a
  conçu la maquette à évaluer
• L'utilisateur provient d'un autre groupe

62
Méthode adaptée 1/ Préparer lévaluation

• Former les équipes d'évaluation (1.1)
• Répartition des rôles
• Les évaluateurs se répartiront ainsi les rôles
  qu'ils joueront lors de la séance d'évaluation
• Un directeur de l'évaluation
• Celui-ci supervisera la séance d'évaluation.
• Il va guider le sujet et l'aider dans la
  réalisation de sa tâche (en répondant par exemple
  aux questions qu'il se pose).
• Des observateurs
• Ceux qui observeront l'utilisateur au cours de la
  séance d'évaluation (prise de notes, etc..)

63
Méthode adaptée 1/ Préparer lévaluation

• Définir les tâches (1.2)
• Définir deux ou trois tâches
• Tâches à réaliser à l'aide de la maquette
• Tâches à déterminer en fonction des maquettes
  réalisées
• Exemples
• Rechercher une référence précise dans la base
  documentaire
• Envoyer un document au lecteur L avec accusé
  d'envoi au service S
• Retrouver l'ISBN (International Standard Book
  Number) d'un livre que l'ordinateur aura tiré au
  hasard (Tâche de l'expérience de dialogue
  Homme-Machine sur le Web, Projet HALPIN)

64
Méthode adaptée 1/ Préparer lévaluation

• Définir les tâches (1.2)
• Préparer une liste des tâches définies
• Liste à remettre à l'utilisateur lors de la
  séance
• Préparer une consigne
• Consigne à lire à l'utilisateur (de manière
  informelle) lors de la séance

65
Méthode adaptée 1/ Préparer lévaluation

• Préparer des questions (1.3)
• Préparer des questions à poser pendant la
  réalisation des tâches
• Exemple cf. les questions de Monk et al.
• Sinspirer de modèles de l'activité (ex.
  Norman)
• Préparer des questions à poser après la
  réalisation des tâches
• Exemple cf. les questions de Monk et al. pour
  le debriefing

66
Méthode adaptée 1/ Préparer lévaluation

• Préparer des questions (1.3) Sinspirer de
  modèles de l'activité

67
Méthode adaptée 1/ Préparer lévaluation

• Préparer des questions (1.3) Sinspirer de
  modèles de l'activité

Que voulez-vous faire ?
68
Méthode adaptée 1/ Préparer lévaluation

• Préparer des questions (1.3) Sinspirer de
  modèles de l'activité

Avez-vous obtenu ce que vous vouliez ?
Que voulez-vous faire ?
69
Méthode adaptée 1/ Préparer lévaluation

• Préparer des feuilles de notation (1.4)
• Fonction des feuilles de notation
• Noter les observations au cours de l'évaluation
• Recueillir des informations sur la pertinence
• du modèle conceptuel
• - modèles de formulaire
• - modèle de tâche
• et de limage de l'interface
• - menus
• - fenêtres
• - dialogues

70
Méthode adaptée aux étudiants en informatique

• Ses étapes
• Étape 1/ Préparer l'évaluation
• Étape 2/ Réaliser l'évaluation
• Étape 3/ Analyser les résultats de l'évaluation
• Étape 4/ Tirer les conséquences de l'évaluation
• Étape 5/ Rédiger le compte rendu de l'évaluation

71
Méthode adaptée 2/ Réaliser lévaluation

• Sous-étapes
• Familiarisation (2.1)
• Réalisation des tâches (2.2)
• Discussion post-tâches (2.3)

72
Méthode adaptée 2/ Réaliser lévaluation

• Familiarisation (2.1)
• Familiariser l'utilisateur avec la maquette
• Lui présenter celle-ci et
• le laisser l'explorer avant de lui présenter les
  tâches

73
Méthode adaptée 2/ Réaliser lévaluation

• Réalisation des tâches (2.2)
• Faire réaliser successivement à l'utilisateur
  chaque tâche (lire la consigne)
• L'aider quand il pose une question
• Lui poser aussi des questions (cf. les questions
  préparées) afin qu'il explicite ce qu'il est en
  train de faire
• Noter les réactions, comportements, difficultés
  et commentaires de l'utilisateur

74
Méthode adaptée 2/ Réaliser lévaluation

• Discussion post-tâches (2.3)
• Quand les tâches sont terminées,
• discuter avec l'utilisateur de ce qu'il pense de
  la maquette
• lui poser des questions qui ont été préparées
  ainsi que d'autres questions qui pourront surgir

75
Méthode adaptée aux étudiants en informatique

• Ses étapes
• Étape 1/ Préparer l'évaluation
• Étape 2/ Réaliser l'évaluation
• Étape 3/ Analyser les résultats de l'évaluation
• Étape 4/ Tirer les conséquences de l'évaluation
• Étape 5/ Rédiger le compte rendu de l'évaluation

76
Méthode adaptée 3/ Analyser les résultats de
lévaluation

• Classement des résultats
• Classer les résultats en termes
• d'objets de l'interface,
• de dialogue,
• etc.

77
Méthode adaptée 3/ Analyser les résultats de
lévaluation

• Points positifs et négatifs
• Faire ressortir
• les points positifs et
• les points négatifs (difficultés, etc.).

78
Méthode adaptée aux étudiants en informatique

• Ses étapes
• Étape 1/ Préparer l'évaluation
• Étape 2/ Réaliser l'évaluation
• Étape 3/ Analyser les résultats de l'évaluation
• Étape 4/ Tirer les conséquences de l'évaluation
• Étape 5/ Rédiger le compte rendu de l'évaluation

79
Méthode adaptée 4/ Tirer les conséquences de
lévaluation

• Modifications à apporter à l'interface
• À partir des résultats de l'évaluation,
  déterminer les modifications à apporter à la
  maquette
• Module d'aide
• On pourra tirer parti de l'évaluation pour
  spécifier le module d'aide à l'utilisation de
  l'interface

80
Méthode adaptée aux étudiants en informatique

• Ses étapes
• Étape 1/ Préparer l'évaluation
• Étape 2/ Réaliser l'évaluation
• Étape 3/ Analyser les résultats de l'évaluation
• Étape 4/ Tirer les conséquences de l'évaluation
• Étape 5/ Rédiger le compte rendu de l'évaluation

81
Méthode adaptée 5/ Rédiger les résultats de
lévaluation

• Objectif
• Rendre compte de l'évaluation dans le rapport
  dévaluation
• Présenter l'état de la maquette avant
  l'évaluation
• Présenter les résultats de l'évaluation
• Présenter les modifications à apporter à la
  maquette à l'issue de l'évaluation
• Présenter le nouvel état de la maquette

82
Méthode adaptée 5/ Rédiger les résultats de
lévaluation

• Pour les projets de reconception, ajouter les
  points suivants
• Présenter l'interface à re-concevoir
• Présenter les résultats de l'évaluation
• Présenter les modifications à apporter à
  l'interface à l'issue de l'évaluation
• Présenter la maquette de la nouvelle interface
• Présenter les résultats de l'évaluation
• Présenter les modifications à apporter à la
  maquette à l'issue de l'évaluation
• Présenter le nouvel état de la maquette