1
 Évaluation des aides techniques

• Pr. Éric Brangier
• Université de Metz

2
Plan de lexposé

• 1. Introduction
• Handicap et assistance
• 2. Lévaluation de lusage des dispositifs
• 3. Les techniques dévaluation
• méthodes dinspection,
• enquêtes dusage,
• tests dutilisabilité
• 4. Conclusion
• Perspectives
• Handicap et innovation pour tous

3
1
Introduction contexte de lévaluation des
assistants
4
Problème posé

• Caractéristiques des grands handicapés
• privation des ressources
• réduction des relations
• Développer le confort
• confort fonctionnel
• confort émotionnel
• Idée Assistance  performance du facteur
  humain 

5
Lassistance à lutilisateur

• Assister un opérateur, cest estimer quil risque
  de rencontrer des difficultés et que laide
  apportée améliorera la réalisation de sa tâche.
• Lassistance réunion de trois éléments
• une tâche,
• un opérateur chargé de réaliser la tâche
• et un assistant (humain ou technique) chargé
  daider le premier dans sa tâche.
• Définition large
• logiciels de supervision ou daide à la décision,
  
• supports écrits de formation au poste de travail,
• et les interfaces humain-machine.
• Types
• Informative
• Coopérative
• Palliative

6
Assistance informative

• donner des informations, souvent de nature
  procédurale
• organise le champ informationnel de lopérateur
• Les aides textuelles, graphiques, au travail, par
  la diversité des formats de présentation et de
  leur contenu sont de bons exemples daide
  informative.

7
Assistance collaborative

• collaboration entre un agent dassistance, humain
  ou technique, et un utilisateur disposant de
  ressources limitées.
• Lassistant effectue un tri des informations,
  traite les informations estimées pertinentes et
  conseille lopérateur.
• Lassisté va construire ses connaissances et
  raisonnements au fur et à mesure des interactions
  avec lassistance et, pour finir, opter pour une
  action ou décision.

8
Assistance palliative

• prend la place de lhomme dans un certain nombre
  de tâches quil ne peut réaliser.
• conçue pour pallier les déficiences humaines
  (handicaps moteurs ou sensoriels) ou
  linaccessibilité dune situation
  (télésurveillance, robotique).
• prend en charge une grosse partie du travail
  dexécution, lopérateur devant pour sa part
  piloter laide qui pallie ses insuffisances ou
  impossibilités.

9
2
Lévaluation de lusage des dispositifs
dassistance
10
Que faut-il évaluer?

•  You know it won't work because you form a
  conceptual model of the device and mentally
  simulate its operation. D. Norman.

11
Évaluation de lassistance orientations générales

• Fonctionnalités
• Usage dépend de ladaptation à la fonction
• Ensemble adapté de fonctions destinées à
  lactivité
• Utilisabilité
• Facilité dutilisation
•  degré selon lequel un produit peut être
  utilisé, par des utilisateurs identifiés, pour
  atteindre des buts définis avec efficacité,
  efficience et satisfaction  (ISO 9241)
• Emotionnalité
• Attachement suscité par lusage dun produit
• Capacité dun produit à générer un sentiment
  agréable ou désagréable, conditionnant lusage du
  produit.
• Régulation socio-organisationnelle
• Acceptation sociale

12
Critères dacceptabilité
Ergonomie du produit
Fonctionnalité
Utilisabilité
Emotionnalité
Ergonomie du contexte
Utile?
Facile?
Agréable?
Employabilité etc
Plaisir physique, psychologique, social,
idéologique Relation affective
Service rendu, Utilité Opérationnalité
Ergonomie Compatibilité cognitive Adaptation IHM
Régulation sociale
Environnement, Contexte, Appuis socio-affectifs
Performances de la relation Humain- Aide
technique- Contexte
13
Structure générale de la norme ISO 9241.11
14
Données élémentaires du contexte dutilisation
Nombre dutilisateurs Aptitude physique Habilité
cognitive Déficits et limitations physiques et
cognitifs Motivation Attitude à légard de la
tâche Ethnies, cultures, habitudes et
compétences linguistiques Utilisateurs directs,
indirects, occasionnels, experts,
novices Qualification et diplômes Formation
initiale, formation continue Expérience de
lenvironnement Compétences dans le
domaine Compétences sur le produit Expérience de
la tâche Âge, sexe Fonctions exercées Niveau
dautonomie
Identification du matériel Description du
produit Types dapplication possibles Spécificati
ons informatiques (logiciels) Incompatibilité
avec dautres matériels Signaux formels et
informels émis par la machine Principales
fonctionnalités Implantation architecturale Suppor
t papier, Documentations Nuisances
évidentes Signalétique
utilisateur
équipement
Contexte des interactions entre lhomme, la
technologie et lorganisation
équipement
utilisateur
tâche
environnement
Organisation du travail Culture
organisationnelle Modalités de communication Organ
isation des temps et horaires Travail de groupe
et mode de coopération Structure du pouvoir et du
management Organisation des relations
professionnelles et de leurs représentations Ambi
ances physiques de travail (bruit, température,
vibration, lumière) Aménagement des postes de
travail (emplacement, posture, déplacement,
design) Évaluation des risques
professionnels Port déquipement de protection
individuelle
Identification de la tâche Nom de la tâche Durée
de la tâche Flexibilité de la tâche Fréquence
dexécution de la tâche Risques potentiels
attachés aux erreurs Exigences physiques,
cognitives et sociales liées à la
tâche Exigences dhygiène et de
sécurité Objectifs de la tâche Pré-requis et
post-requis de la tâche Décomposition
hiérarchique de la tâche Interruptabilité des
tâches
environnement
tâche
15
Conception centrée sur lutilisateurISO 13407
Étude préalable pour identifier les avantages
dune conception centrée sur lutilisateur
(compromis entre exigences, coûts, contraintes et
bénéfices)
Compréhension du contexte des interactions entre
lhomme, la technologie et lorganisation
utilisateur
équipement
tâche
environnement
Expression des besoins de lutilisateur final par
rapport au produit et au contexte dutilisation
(étude des exigences de lactivité de
lopérateur, de la technologie et de
lorganisation).
Cycle de conception/réalisation du produit
maquette, prototype, produit fini.
Cycle itératif de test (inspection de
lutilisabilité, enquête dusage,
expérimentation) jusquà ladéquation du produit
aux besoins des utilisateurs et de lorganisation
16
Pratiques de conception/évaluation

• Conception centrée utilisateur (ISO 13407)
• Conception par lusage
• Conception participative
• Conception universelle.

17
Les objectifs de lévaluation

• Dimensions de lutilisabilité que lon souhaite
  évaluer
•  ISO 9241-11   un système est utilisable
  lorsque lutilisateur peut accomplir sa tâche
  (efficacité), avec un minimum de ressources pour
  le faire (efficience) et que le système est
  estimé agréable à utiliser (satisfaction).
• la facilité dapprentissage
• la tolérance du système aux erreurs de
  lutilisateur.
• Cycle de développement dun produit
• Type de besoins que le produit doit satisfaire 
• Caractéristiques des utilisateurs ciblés par le
  produit 
• Contexte global dusage du produit
• Contraintes de coûts ou de temps.

18
Préciser les dimensions de lutilisabilité à
évaluer (1)

• Efficacité
• Examiner si les buts visés par lutilisateur sont
  atteints.
• Vérifier la capacité du système à satisfaire les
  intentions.
• Efficience
• Mesurer les ressources nécessaires pour atteindre
  les objectifs.
• Quantifier le nombre de fonctions utilisées.
• Comptabiliser le nombre de modes opératoires
  effectués pour accomplir une tâche donnée.
• Calculer le temps mis par lutilisateur pour
  réaliser la tâche.
• Satisfaction
• Apprécier si le système est agréable à utiliser.
• Mesurer le nombre de fois quun utilisateur
  exprime de la frustration ou de la satisfaction.
• Comptabiliser les remarques positives et/ou
  commentaires négatifs, à travers un questionnaire
  ou par lintermédiaire dun entretien.
• Observer et comptabiliser les attitudes physiques
  favorables et/ou défavorables de lutilisateur
  (gestes, mimiques, signes dénervement ou
  dagacement).

19
Préciser les dimensions de lutilisabilité à
évaluer (2)

• Facilité dapprentissage
• Mesurer la capacité du produit à être découvert
  naturellement.
• Mesurer le temps de latence entre la consigne de
  lévaluateur et le début dune utilisation
  correcte.
• Compréhension correcte et assimilation rapide du
  mode de fonctionnement.
• Tolérance aux erreurs
• Comptabiliser le nombre derreurs commises par
  lutilisateur et le nombre de récupérations.
• Quantifier le nombre de bonnes ou de mauvaises
  applications mentionnées par lutilisateur.
• Mesurer les temps nécessaires à la correction des
  erreurs.
• Évaluer le système daide (compréhension de la
  documentation, facilité dusage de laide
  informatisée).

20
Types dévaluation

• Moments de lévaluation
• Évaluer pour prévoir  lévaluation prospective.
• anticiper les modes dusages de produits à partir
  de lanalyse dune situation donnée de manière à
  prévoir de nouveaux usages en concevant de
  nouveaux objets.
• Évaluer pour valider  lévaluation consécutive.
• confirmer ou infirmer les orientations prises par
  la conception.
• Évaluer pour améliorer en continu  lévaluation
  itérative.
• les processus de conception et dévaluation sont
  liés et mutuellement dépendants 
• Évaluation et cycle de vie
• lors de la première phase de la conception.
• maquettage ou du prototypage.
• conception définitive (comparaison avec le cahier
  des charges)
• sur des produits existants à des fins
  comparatives(concurrence).
• du produit et sa maintenance.

21
Connaître les utilisateurs cibles et les besoins
à satisfaire

• Besoins des utilisateurs
• laccessibilité physique, lapprentissage,
  laudition, la vision, la cognition, la
  communication, lécriture, la lecture, la
  mobilité, leur profession, leur santé et soins
  personnels ou encore leurs besoins récréatifs
• La connaissance des besoins à satisfaire qui
  orientera lévaluation.
• Quel est le degré dimportance de lamélioration
  apportée à lutilisateur final ?
• Quel est de degré de satisfaction du besoin par
  la technologie ?
• Quels nouveaux besoins peuvent apparaître ?

22
Maîtriser les biais et attitudes de lévaluateur

• Lévaluateur ne biaise-t-il pas les résultats ?
• Neutralité, bienveillance
• Qui évalue ?
• Par soucis de validité et de fidélité,
  lévaluation de lutilisabilité doit-elle être
  réalisée par des spécialistes désengagés de la
  conception.
• Que doivent indiquer les évaluations?
• Que le produit satisfait lutilisateur?
• NON!
• Que le produit nest pas satisfaisant.
• flatter le narcissisme des concepteurs ?
• proposer des recommandations qui lamélioreront.

23
3
Les techniques dévaluation
24
Les méthodes dévaluation

• La source du savoir collecté  utilisateurs ou
  experts ?
• La situation dévaluation  artificielle ou
  réelle ?

25
Les grandes catégories de méthodes dévaluation.

• Analyser la situation réelle avec lutilisateur 
  les enquêtes dusage.
• déterminer les objectifs et les tâches
  dutilisateur, interpréter les conduites et
  élaborer des préconisations
• Examiner lutilisabilité sans utilisateur  les
  techniques dinspection.
• examiner, selon des critères éprouvés,
  lutilisabilité dun produit, mais sans
  utilisateur.
• récapituler les sources dinutilisabilité et
  proposer des solutions correctrices.
• Impliquer lutilisateur pour améliorer ou
  valider  les tests dutilisabilité
• effectuer des tâches représentatives avec le
  produit testé.
• rédiger un rapport énumérant les problèmes et
  énonçant des recommandations basées sur les
  résultats des expériences.

26
Les enquêtes dusage

• Découverte de données sur les usages
• Double objectif
• Dinnovation
• Daménagement
• A la différence des autres méthodes dévaluation,
  les enquêtes dusage insistent sur 
• Le rôle du contexte dans lapparition dun
  comportement dun utilisateur.
• Lobservation de la réalité telle quelle est
• Lidée que la technologie nexiste pas en soi,
  mais se réfère toujours à un usage.

27
Illustrations de techniques

• Analyse ethnographique
• Lanalyse de la situation dutilisation
• Les groupes de discussion
•  focus group 
• Lentretien structuré
• Questionnaire
• Lobservation
• Retour dexpérience (REX)

28
Le monitoring de lutilisation

•  Tracer  lutilisateur par des mouchards
  électroniques.
• Quantifier les durées dutilisation
• Évaluer les fonctionnalités utilisées ou non
• Recenser les difficultés à partir de la
  connaissance des opérations qui ne sont pas ou
  mal faites par lutilisateur
• Mesurer le taux global dutilisation
• Visualiser les séquences réelles daction
  problèmes
• Problèmes
• déontologique 
• interprétatif

29
Les techniques dinspection

• Porter un jugement sur ses capacités à être
  efficace, efficient, tolérant aux erreurs, facile
  à apprendre et satisfaisant pour ses
  utilisateurs.
• Évaluateurs experts en facilité dusage
• linspection dépend de la qualité et de la
  quantité dévaluateurs.
• à privilégier pour dégrossir les problèmes
  dutilisabilité et préparer des tests
• Les techniques dinspection reposent sur une
  conception classique de lergonomie
• nintègre ni lanalyse du travail, ni les
  dimensions organisationnelles, sociales ou
  culturelles du travail.
•  machine humaine  
• Techniques relatives
• Aux connaissances de lévaluateur
• A des outils pour appréhender lutilisabilité du
  produit
• A des modèles et théories de la performance
  humaine.

30
Illustration des types dinspection
31
Les tests dutilisabilité

• Mesure expérimentale de ladéquation dun
  dispositif aux utilisateurs cibles
• Méthode pour évaluer un dispositif qui permet 
• Dobserver directement la manière dont des
  utilisateurs sen servent 
• Didentifier les difficultés quils rencontrent 
• De recueillir leurs verbalisations 
• De recenser leurs attitudes à légard du
  produit 
• Dimpliquer dautres partenaires que les
  utilisateurs.
• Déroulement
• Fixer et justifier les objectifs du test
  dutilisabilité
• Préparer le test dutilisabilité (empiriques et
  théoriques)
• Constituer un échantillon dutilisateurs
• 5 utilisateurs dune catégorie donnée suffisent à
  détecter 80 des problèmes, MAIS parfois 5
  utilisateurs ne sont pas suffisants En prévoir
  49 !
• Choisir des utilisateurs représentatifs
• Veiller à la représentativité des situations
  dutilisation

32
Utiliser un laboratoire dutilisabilité (Pergolab)
Zone daccueil

• 4 salles
• 3 types dintervenants
• Déontologie
• Déterminer le type de test à mener
• Test de performance.
• Test dutilisation.
• Test danticipation.
• Test des systèmes daide à lapprentissage.
• Test de confrontation.
• Le test de déploiement du produit.
• Etc.

Zone technique
Couloir
Fenêtres
Miroirs sans tain
Zone de test
Zone dobservation
33
La restitution de lévaluation

• Lanalyse des données recueillies
• 1. verbales
• 2. dobservations
• 3. quantitatives
• La validation des propositions
• Lélaboration de recommandations
• Produire des connaissances appropriables par
  lensemble des acteurs
• La restitution du rapport dévaluation
• Lévaluation nest pas seulement un constat, ce
  sont des résultats et analyses avec lesquels on
  décide.
• Lutilisateur est au centre de la restitution.
• le document écrit,
• la présentation orale.

34
4
Conclusion perspectives
35
Conception centrée utilisateur

• Si vous voulez quun utilisateur comprenne votre
  dispositif dassistance, vous devez dabord
  comprendre lutilisateur.
• Comment votre assistant  parle -t-il à
  lutilisateur ?
• Quest-ce que vous voulez que votre produit fasse
  pour lutilisateur ?
• Quest-ce que lutilisateur va faire avec votre
  produit ?

36
Cadre de lévaluation

• Évaluer par
• Respect aux standards
• Techniques et méthodes
• La comparaison à des modèles cognitifs

37
Perspectives
Interactif
Symbiotique
Exemple Téléphone portable Handicap Tous
concernés Généralisation aux utilisateurs
 sains 
38
Peut-on faire  sans  ergonomie?

• Oui, mais bon courage à vous!
• Comment font les entreprises à  hi-tech ?

Compagnies Secteur Date Nb salles
Ameritech Communications service 1989 7
Bellcore Telco software 1985 7
BT (British Telecom) Telephone service 1988 3
IBM Computer systems 1981 14
MAYA Design Group Design consultants 1990 3
Microsoft Corp. PC software 1989 19
NCR Computer systems 1966 3
Philips Consumer electronics 1990 5
SAP Standard business apps 1992 2
SunSoft Workstation software 1988 8
Symantec PC software 1992 2
Taligent PC operating systems 1992 2
(Daprès Nielsen, 1994)
39
Entre les deux mon cœur balance