Training

1
Plate-forme dexpérimentation des systèmes
interactifs
MultiCom
2
Objectifs
Etudier les usages et lutilisabilité en
situation de travail Concevoir et Evaluer les
systèmes en, Expérimentant des scénarios
dusage Simulant des maquettes
3
Objectifs
Etudier les usages et lutilisabilité en
situation de travail Concevoir et Evaluer les
systèmes en, Expérimentant des scénarios
dusage Simulant des maquettes
4
Objectifs
Etudier les usages et lutilisabilité en
situation de travail Concevoir et Evaluer les
systèmes en, Expérimentant des scénarios
dusage Simulant des maquettes
5
Objectifs
Etudier les usages et lutilisabilité en
situation de travail Concevoir et Evaluer les
systèmes en, Expérimentant des scénarios
dusage Simulant des maquettes
6
Définitions préalables

• Vérification examen, essais ou mesures
  effectués en référence à des données préétablies,
• Evaluation mesure des performances dun produit
  ou d un procédé a priori ou sur des données
  recueillies
• Validation acte par lequel le réalisateur dun
  produit ou d un procédé, le reconnaît capable de
  satisfaire le besoin pour lequel il a été défini
  (après lavoir vérifié en général par le suivi de
  sa première utilisation),
• Qualification établissement de la conformité
  dun produit final par rapport aux exigences du
  client.

7
Démarche rationaliser la conception

• En optimisant le cycle de conception 
• - en diagnostiquant les impasses au plus tôt,
• - en évitant les retours arrières et les erreurs
  de conception.
• En agissant aux niveaux
• - de lusage (valeur et signification dusage),
• - de lutilisabilité (qualité ergonomique).
• En validant chaque étape.

8
Les grandes étapes du développement
Idée Besoin Fonctionnalités Maquette Prototype
Système Retours
Avant-Projet
Spécifications
Développement
Après-vente
9
Un bon départ enrichir lidée
Le cycle de conception en spirale
La force de la démarche réside dans le fait que
tous les critères (a) d'usage, (b)
d'utilisabilité, (c) économique, (d)
technologique sont pris en compte, au plus tôt.
Fonctions
Diagnostic
Observation
Idée
CC
Maquette
Validation
Evaluation
Scénario
10
Le cycle en spirale

• A Observer et diagnostiquer les usages,
• B Définir le cahier des charges CC, le valider
• C Expérimenter les scénarios dutilisation,
• D Affiner le cahier des charges CC et spécifier
  le système,

E Réaliser une maquette du système interactif, F
Mettre la maquette en test, G Evaluer
lutilisabilité de cette maquette, H Corriger
et modifier les spécifications,
I Valider le prototype, J Réaliser une
première série, K La mettre sur le marché.
11
Début du cycle...

• Analyse de l usage
• génération du questionnaire
• enquête sur le terrain
• enregistrement du verbatim auprès dinformants
• interprétation et présentation des résultats
• recommandations pour le cahier des charges

12
Le cycle continue...

• Simulation de lusage et
• Test prédictif de lutilisabilité
• choix des fonctionnalités
• écriture des scénarios
• capture de comportements
• interprétation des données
• recommandations ergonomiques
• ? par analyse de lactivité ou analyse des tâches

13
Le cycle sachève...

• Spécification du cahier des charges
• Développement
• Evaluation du système final
• validation des fonctionnalités
• tests de comportements
• inspection ergonomique
• mesures de qualité

14
Les méthodes (1)

• La simulation consiste à
• simuler un produit (réalité virtuelle),
• ou simuler un usage (technique Magicien dOz),
• ou simuler le produit et son usage.

Sur une plate-forme dédiée
15
Les méthodes (2)

• La simulation
• La mesure consiste à
• définir des critères ou des grandeurs de
  mesure,
• écrire des scénarios de mise en test,
• capturer des comportements en situation,
• les mesurer à laide des critères.

Moyens enquêtes dusage, expertises grille
s de critères
16
Les méthodes (3)

• La simulation
• La mesure
• Lanalyse consiste à
• faire des analyses fonctionnelles ou des
  analyses de tâche, à partir des mesures
  comportementales, et des protocoles de
  verbalisation ou de dialogue,
• appliquer des méthodes de  reverse
  engineering  à certaines étapes de la conception
  pour sassurer que la maquette respecte le cahier
  des charges.
• Elle opère à partir de théories cognitives et
  sociales

17
La plate-forme

• Dispositif dobservation

Station sujet
Video de contrôle
Enregistrement sonore des sessions
Stations compères 1compère/tâche
18
Les outils de traçage

• A. Par traçage direct
• Cela consiste à inclure dans le logiciel ou le
  produit des marqueurs pour suivre lactivité de
  lutilisateur. Le résultat produit est un fichier
  de trace.
• Exemple Supratel (CNET)

• B. Par annotation
• Cette méthode sapplique aux produits que lon
  cherche à analyser comme une boîte noire. Il
  nest pas possible alors dutiliser la méthode
  directe. Il faut annoter lactivité de
  lutilisateur  à la main  avec une assistance
  logiciel pour assurer lannotation en temps réel.
• Exemple CD-ROM Schneider

19
Les outils statistiques

• Expertise
• L'analyse est conduite par un expert qui
• définit lui-même ses méthodes et ses outils.
• Statistiques
• Analyse de questionnaires tris à plat,
  croisements, tableaux multiples, analyses
  pondérées, fiches individuelles, états
  récapitulatifs,
• Traitements organisés en plans de tris,
• Filtres multi-critères et analyse des
  sous-populations.
• Analyse de données analyses factorielles,
  classifications, régressions, tests paramétriques
  ou non paramétriques, etc.
• Graphiques Toiles d'araignées, Matrices
  croisées, Cibles, Podiums, Flèches d'évolution,
  et bien sûr, les graphiques usuels en 2 ou 3
  dimensions (barres, histogrammes, camemberts...).

20
Les outils danalyse de verbatim

• Analyse lexicale
• Répartition des entités lexicales en classes,
  après analyse morphologique,
• La fréquence absolue et relative permet de
  déduire
• le vocabulaire partiellement utilisé en
  soustrayant à la liste du vocabulaire total la
  liste du vocabulaire commun,
• la banalité du vocabulaire qui est la mesure du
  nombre de textes dans lesquels une entité
  lexicale est attestée.
• Analyse des marqueurs pragmatiques
• marqueurs de satisfaction  c est bon, c est ça
• marqueurs de déception et de désapprobation ça
  va pas
• marqueurs de résignation ça fait rien
• etc.

21
Outils danalyse de lactivité

• Graphe d état
• Séquence dactivité
• Arbres de tâches

22
Les projets achevés
Supratel (CNET) CD-installateur
(SCHNEIDER) PrismaDesign (SCHNEIDER) Panneau
électrique (SCHNEIDER) La station denquête
(DICAU) Lévaluation du Dialogue
(AUPELF) Simulation de dialogues (C-STAR)
23
Exemple C-STAR, traduction multilingue

• Contexte
• Un projet international de traduction de parole
  ATR (Japon), CMU (USA), Université de Karlsruhe
  (Allemagne), IRST de Trento (Italie), ETRI
  (Corée), CLIPS (France)

24
La simulation de traduction multilingue

• Scénario simulé Le client (français) recherche
  des renseignements touristiques en vue
  dorganiser un voyage. Il sadresse à différentes
  agences, successivement, dans plusieurs pays où
  lon parle anglais, allemand et italien. Lagent
  peut dialoguer et fournir de la documentation au
  client placé devant un terminal mais ne parle que
  sa langue natale. Tout en dialoguant il peut
  envoyer sur lécran du client, plan de villes,
  textes, photos numériques d'hôtels, de rues, etc..

25
Résultats de la simulation C-STAR

• Informations sur la structure de dialogue
• Informations linguistiques
• Lexique de l application
• Formes d énoncés spontanés
• Expressions les plus fréquentes
• Apprentissage du système de reconnaissance
• Les délais de la communication
• Spécification des interfaces

26
Conclusion la plate-forme

• Un environnement informatique des stations de
  travail et des PC reliés en réseau haut-débit
• Des salles équipées de moyens denregistrement
  audio et vidéo
• Un personnel spécialisé pour
• la conduite des expérimentations
• le développement doutils d expérimentations
• le développement dinterfaces et de systèmes
  interactifs
• la maintenance de la plate-forme.

27
Les acteurs
CAUTIC
INRIA
CLIPS
28
Les partenaires

• Des PME partenaires
• DICAU
• NOVADIS
• ErgoIn
• Des experts consultants
• sociologie
• ergonomie

29
Résumé

• cest
• Un réseau de compétences multidisciplinaires
• (socio, ergo, techno)
• Une plate-forme dexpérimentation
• Une vitrine de démonstration
• Une offre de formation (séminaires, stages)
• Un centre de ressources et de services

MultiCom
30
Fin