valuation des Interfaces

1
Évaluation des Interfaces

• Comment impliquer lutilisateur ?

2
A quoi bon évaluer ?

• Avant la conception
• Avant dinvestir dans un projet coûteux, on a
  besoin de prouver sa viabilité
• Conception préliminaire
• Développer et tester rapidement des alternatives
  de conception
• Conception itérative (prototypage)?
• Adéquation du système proposé à la tâche de
  lutilisateur
• Identification des problèmes
• Suggestions damélioration en provenance de
  lutilisateur
• Tests dacceptation
• Vérifier que le couple Utilisateur / Système
  atteint les niveaux de performances spécifiés
  lors de la spécification initiale du système

3
Avec ou sans utilisateur ?

• Sans utilisateur
• Approche heuristique (basée sur des règles
  générales)?
• Réalisée par un expert ergonome
• Appel à l'expérience de l'expert
• Avec l'utilisateur
• Approche expérimentale
• Réalisée par des membres de l'équipe de
  conception
• Identification de problèmes réels

4
Deux approches dévaluation

• Lapproche Naturaliste
• Évaluer le système dans des conditions aussi
  proches que possible de la réalité
• Tâche de lutilisateur
• Environnement de travail (bruit, stress,
  interruptions, etc.)?
• Lapproche Expérimentale
• Étudier une ou plusieurs variables indépendantes
• Identifier les effets sur dautres variables
  dépendantes
• Compromis Naturaliste / Expérimental
• Généralisation à des situations réelles
• Précision et contrôle direct sur les conditions
  expérimentales

5
Fiabilité des résultats
Obtiendrait-on le même résultat si le test était
répété ?

• Problème des différences individuelles
• Le meilleur utilisateur est 10x plus rapide que
  le moins bon
• Les 25 meilleurs sont 2x plus rapides que les
  25 moins bons
• Solutions partielles
• Tester un nombre raisonnable dutilisateurs
• Fournir des intervalles de confiance statistiques
• Le temps moyen pour accomplir la tâche X est de
  4,5 ? 0,2 minutes avec 95 de confiance
  signifie Il y a 95 de chance que la moyenne
  soit entre 4,3 et 4,7 minutes et 5 de chances
  quelle soit en dehors de cet intervalle

6
Validité des résultats
Le résultat a-t-il une validité quelconque à
lextérieur du labo ?

• Les sujets du test sont atypiques
• Les tâches ne correspondent pas aux tâches
  réelles
• Lenvironnement physique est différent
• Influences sociales différentes
• Motivation vis à vis de lexpérimentateur et vis
  à vis du boss

7
Évaluation Qualitative

• Produisent une description des problèmes
• En général sous forme non-numérique
• Résultats éventuellement subjectifs
• Méthodes dévaluation qualitative
• Introspection
• Observation directe
• Interviews et questionnaires
• Evaluation continue

8
Observation directe
Lévaluateur observe et enregistre les
utilisateurs qui interagissent avec le système

• En laboratoire
• Lutilisateur doit accomplir un ensemble de
  tâches pré-déterminées
• Usability labs, spécialement instrumentés pour
  lobservation
• En situation réelle
• Lutilisateur poursuit son travail habituel
• Une très bonne méthode pour identifier les
  problèmes majeurs dinteraction

9
Trois approches dobservation

• Observation simple
• La tâche est décrite au sujet, lévaluateur
  nintervient en aucune manière
• Think Aloud (penser à haute voix)?
• Les sujets décrit en continu ce quil fait ou
  pense
• Ce quil croient être en train de se passer
• Pourquoi ils exécutent telle ou telle action
• Ce quils essaient de faire
• Méthode très utilisée dans lindustrie
• Problèmes
• Inconfortable pour le sujet
• Peut altérer lexécution de la tâche (ex décrire
  le détail de la frappe clavier pendant quon
  frappe)?

10
Trois approches ... (suite)?

• Interaction constructive / Co-Apprentissage
• Deux personnes travaillent ensemble à la tâche
• La conversation est enregistrée comme pour le
  think-aloud
• Sujets
• un coach compétent (mais pas le concepteur ni
  lévaluateur lui-même) et un sujet naïf
• Le sujet naïf utilise linterface
• Le sujet naïf pose des questions et le coach lui
  répond
• Avantages
• Souvent proche dune situation réelle
• Evite les blocages complets du sujet

11
Techniques denregistrement

• Papier / Crayon
• Bon marché mais lent ...
• Prévoir des codages et des tables dévénements
  possibles
• Audio
• Intéressant pour le think aloud
• Difficile de mettre en correspondance avec les
  actions
• Vidéo
• Une caméra pour le sujet, une pour lécran
• Un permet le test rétrospectif lutilisateur
  commente ses actions
• Log automatique
• Le code du prototype est instrumenté pour
  enregistrer les actions de lutilisateur
• Produit un gros volume de donnée, nécessite des
  moyens de traitement automatiques
• Peut-être post-synchronisé avec laudio / vidéo

12
Interviews et Questionnaires

• Questionnaires
• Ne nécessitent pas la présence de
  lexpérimentateur
• Peuvent fournir des résultats quantifiables
• Peuvent atteindre une large audience (Email)?
• Préparation coûteuse, mais exploitation des
  résultats bon marché et automatisable

13
Evaluation par Questionnaires

• Etablir lobjectif du questionnaire
• Quelle information recherche-t-on ?
• Comment les résultats seront-ils analysés ?
• Que fera-t-on des résultats danalyse ?
• Ne pas poser de questions inutiles !
• Quel age avez-vous ?
• Déterminer le type daudience recherché
• typique échantillon aléatoire de 50 à 1000
  utilisateurs du produit
• Déterminer comment distribuer le questionnaire et
  collecter les résultats

14
Styles de questions

• Questions générales
• objectif établir le background du sujet et le
  placer à lintérieur dune population typique

• En moyenne, combien de temps passez vous sur ce
  système par semaine ?
• Moins dune heure
• De 1 à 4 heures
• De 4 à 10 heures
• Plus de 10 heures

• Questions ouvertes
• objectif obtenir des opinions non sollicitées
• Utile pour obtenir des informations subjectives
• Difficile à analyser et à classifier

Pouvez-vous suggérer des améliorations à cette
interface ?
15
Styles de question (suite)?

• Questions fermées
• Restreindre les choix à quelques alternatives
• Facile à analyser, mais fastidieux pour le sujet
• Attention aux réponses difficiles à analyser

Vous utilisez un ordinateur au travail ?
Souvent ? Parfois ? Jamais Vous utilisez un
ordinateur au travail ??Plus de 4 heures par
jour ??Entre 2 et 4 heures par jour ??Entre 1 et
2 heures par jour ??Moins d1 heure par jour
16
Styles de questions (suite)?

• Questions scalaires
• Lutilisateur doit juger sur une échelle
  numérique
• Léchelle correspond à laccord/désaccord de
  lutilisateur sur une proposition

Les caractères à lécran sont Faciles à
lire...........................................Dif
ficiles à lire 1 2 3 4 5

• Questions à choix multiples

Quels types de logiciels utilisez-vous (plusieurs
choix autorisés) ??Traitement de
textes ??Tableur ??Base de données ??Compilateurs
17
Styles de questions (suite)?

• Questions de classement hiérarchique
• Utiles pour déterminer les préférences

Classer les modes de déclenchement dune commande
par ordre de préférence (1 le plus utile, 2
moins utile..., 0 si non utilisé)? ____Ligne de
Commande ____Choix dans un menu ____Equivalent
clavier ____Manipulation directe
18
Évaluation Quantitative

• Collecte de données dutilisation
• Fréquence dappel du menu daide
• Fréquence dutilisation de différents modules du
  système
• Nombre et localisation des erreurs
• Temps nécessaire à laccomplissement dune tâche
• Méthode expérimentale

19
La méthode expérimentale

• La méthode scientifique classique
• Formuler une hypothèse claire et testable

Il ny a pas de différence sur le nombre de
caries dentaires entre les enfants utilisant le
dentifrice X et le dentifrice Y
Il ny a pas de différence entre le gestionnaire
de programme de Windows 3.11 et le Menu Démarrer
de Windows95 en ce qui concerne le temps moyen
de démarrage dun programme
20
Méthode expérimentale (suite)?

• Choisir des variables indépendantes que lon va
  faire varier
• Expérience du dentifrice
• Utilisation de la marque X ou Y
• Age lt 10 ou gt 10
• Expérience du démarrage dun programme
• Gestionnaire de programme ou menu Démarrer
• Nombre de programmes accessibles
• Structuration en groupes / Sous-menus
• Type dutilisateur (novice, expérimenté)?

21
Méthode expérimentale (suite)?

• Choix des variables dépendantes que lon va
  mesurer
• Expérience du dentifrice
• Fréquence de brossage
• Nombre de caries
• Expérience du démarrage de programme
• Temps dexécution
• Nombre derreurs
• Nombre déchecs

22
Méthode expérimentale (suite)?

• Choix des sujets et partage en groupes
• Comment contrôler la variabilité des sujets ?
• Identifier les classes de sujet et en faire une
  variable indépendante
• Utiliser un nombre suffisant de sujets
• Contrôle des biais dexpérimentation

Je crois que vous aimerez bien ces menus, je les
ai fait moi-même...
23
Méthode Expérimentale (suite)?

• Application de méthodes statistiques aux
  résultats obtenus
• Analyse de données
• Corrélations entre les variables dépendantes
• Interprétation des résultats
• Quelles décisions de conception en tirer ?