Interaction homme-machine

1
Interaction homme-machine

• Jean Caelen
• Laboratoire CLIPS-IMAG

2
Historique

• Opérateur humain
• (...perforation de cartes...)
• Ecran de saisie
• (...page par page...)
• Ecran graphique
• (...clavier, souris, écran...)

Calculateur
Ordinateur
Personnel
3
Actuellement
Personne / personne

• De Combiné téléphonique
• (...communication humaine...)
• A Interface instrumentale
• (...robot... action sur lenvironnement)
• Met en relation des humains et des systèmes

Personne / système
4
Les applications de linformatique

• les transports (air, rail, route, etc.),
• les télé-services transactionnels commerciaux
  et bancaires,
• les télécommunications et les espaces de
  médiation,
• la formation et la télé-formation,
• la simulation et la conception assistée par
  ordinateur,
• la robotique et la télé-manipulation,
• la bureautique concept du bureau du futur, du
  bureau de lhandicapé, etc.,
• lutilisation collective de lordinateur le
  travail collaboratif, les cyber-villages ,
  etc.,
• la commande de processus continus ou discrets
  environnement robotique, chaînes de production,
  etc.,
• laide à la création et aux activités
  artistiques, aux loisirs, à la diffusion de la
  culture concept de télévision interactive, de
  musée virtuel, etc.,
• l'aide à la maintenance de systèmes complexes,
  etc.
• l'aide à l'acte chirurgical et médical.

5
Nouvelles interfaces

• Humains... plus diversifiés
• professionnel / grand public
• Systèmes... plus complexes
• fonctions diversifiées, en réseau, distribués,
  agents, assistants
• Lordinateur envahit tous les champs
  dapplication et atteint tous les publics
• Les humains ne veulent plus  subir , la
   machine  doit sadapter

6
Les contours du domaine

• Les modalités vocal, gestuel, visuel
• Le traitement automatique du langage naturel
• Lingénierie de linteraction homme-machine
• Les environnements virtuels et augmentés
• Limage et le son (synthèse et traitement)
• Les médiaspaces, les objets communicants
• Lintelligence ambiante
• Le collecticiel
• Lergonomie des interfaces et la sociologie

7
Les conditions de la réussite

•  Utilité 
• adéquation au besoin
• opératoire (adéquation à la tâche)
• pertinence de loutil (pas un outil à  tout
  faire )
•  Utilisabilité 
• fiabilité (vers le zéro-défaut)
• efficacité (réduction du temps de la tâche)
• facilité demploi (en adéquation avec la
  mémoire)
• rapidité dapprentissage
• manipulation agréable
• Les ingénieurs ne sont pas seuls concernés par
  les interfaces

8
Principes ergonomiques

• Adéquation des modes et des modalités
  sensorielles
• Adéquation des représentations
• Traitements compatibles avec les objectifs et
  avec le raisonnement
• H ? E M
• modalités sensorielles modes
• représentations modèles, objets
• raisonnements traitements
• H humain, E environnement, M machine

9
Processus interactionnel

• Théorie de laction Norman, 86
• Modèle de Rasmussen, 86
• Habiletés
• Comportement
• Raisonnement

Raisonnement
Comportement
Habiletés
10
Le modèle ICS Barnard, 92
ICS peut se voir, en première approximation,
comme un affinement du Modèle du Processeur
Humain Card 83. ICS est une architecture
parallèle multi-processus décomposée en un
ensemble de neuf sous-systèmes spécialisés
11
Cadre

• Des individus qui agissent intentionnellement sur
  un environnement naturel ou artificiel au moyen
  dun système informatique pour réaliser une
  tâche.

12
Définition

• Adaptateur dimpédance (elle doit  résister )
• Loupe (elle doit  focaliser )
• Miroir (elle doit  refléter )
• Attracteur (elle doit  motiver )
• Linterface est une abstraction (elle ne commence
  ni ne sarrête au clavier-écran elle a une
  profondeur)

13
Exemple interface vocale
14
Interface opérateur / tâche
Activité de lusager cadrée par la tâche
15
Linterface doit avoir

• des représentations sur lopérateur, aux plans
  cognitif et/ou social,
• une représentation des capacités perceptives et
  sensorielles humaines,
• un modèle du domaine de la tâche,
• un modèle dinteraction et/ou des règles
  sociales,
• une représentation delle-même (pour sadapter ou
  pour être plus générique) et de ses différents
  dispositifs.

16
Typologie

1. Typologie des usagers,
2. Typologie des environnements,
3. Typologie de linteraction,
4. Typologie des tâches,
5. Typologie des connaissances,
6. Typologie des dispositifs.

17
Typologie des usagers

• Utilisateur de référence Ho
• Usagers proches Hp
• Usagers distants Hd
• Système M
• Ho U Hp travaillent avec Hd à laide de M

18
Typologie des univers

• Univers de référence artificiel Uo
• Univers réel proche Up
• Univers réel distant Ud
• Environnement E Uo U Up U Ud

Ud
Up
19
Typologie de linteraction

• 4 Directions dajustement
• Ho contrôle E (Ho gt E)
• Ho sinforme sur E (E gt Ho)
• Ho interagit avec E (Ho ? E)
• Ho indépendant de E (Ho / E)

20
Rôles du système

• Médiateur
• Simulateur
• Assistant
• Partenaire

21
Typologie des tâches

• Tâches routinières
• par réutilisation complète de schémas
• Tâches innovantes ou de conception
• par réutilisation de parties de schémas
  (scripts)
• Tâches de création
• toujours nouvelles
•  type de planification mise en jeu
  (hiérarchique, opportuniste, fin-moyens, etc.),
•  nombre de buts poursuivis simultanément,
•  avec partage des tâches à plusieurs ou non,
•  astreinte à un processus temps réel ou non (qui
  conditionne les interventions sur interruptions
  externes),

22
Typologie des connaissances

• croyances de Ho sur E,
• croyances de Ho sur le système M,
• croyances de Ho sur lui-même,
• représentations de E dans M,
• croyances de M sur Ho,

23
Typologie des dispositifs

• Dispositifs statiques (écran)
• Dispositifs mobiles (robots)
• Dispositifs portables (PDA, téléphone)
• Dispositifs vestimentaires (capteurs)
• Dispositifs environnementaux (bornes)
• Directionnalité (E/S), taille, type canal, débit,
  etc.

24
Exemple de dispositifs

• Graphique (écran clavier souris)
• Vocal (microphone HP)
• Gestuel (gant, retour deffort)
• Visuel (caméra, vidéo-projecteur)
• Multimodal (mixte)

25
Exemple interface vocale

• Interface vocale téléphonique pour le
  renseignement touristique
• Ho client, Hd agent, M agent
• E Base de données tourisme
• (E gt Ho)
• Connaissances Ho langue, transport
• Tâche routinier, hiérarchique, 1 but à la
  fois
• Dispositifs entrée microphone, sortie HP)

26
Tâche / activité
Tâche caractéristiques définition suite(s)
dactions conduisant potentiellement à un(des)
but(s)   nombre de buts poursuivis
simultanément (tâches concurrentes et
parallèles) type de planification et dynamicité
du raisonnement (de la routine à linnovation)
tâche individuelle ou collective astreinte à un
processus externe (interruptions) contraintes
particulières (urgence, sécurité, etc.)
complexité (niveau cognitif exigé)  
Activité suite dactes effectués par un usager
dans le cadre dune tâche   actes langagiers
actes non-langagiers   On distingue la tâche
prescrite de la tâche réalisée
27
Analyse de tâche
Pour concevoir et évaluer des systèmes
informatiques, on analyse le comportement de
l'utilisateur, avant pendant et après l'existence
du système.

• Le modèle UAN utilise des opérateurs
  d'enchaînement de tâches.
• Séquence
• Attente
• Disjonction répétée
• Indépendance d'ordre
• Entrelacement
• Parallélisme

28
Tâche hiérarchie
  (a) s A(t) ? s (b) A(t) ? (x(t-1)?
x(t)   "A, R a?A avec a acte   a
a?Æ où Æ est une non-action   Modèle de tâche
Ensemble des actions A (A) muni de relations
précédé (lt), suivi (gt), simultané (),
disjonctif (OU), Indépendance d'ordre (ET),
entrelacements (?,?)
29
Représentation
Script s (ou scénario) appartient-à
scénarios liens de séquentialité lt, gt, ,
OU, ET Corps Actions Conditions
Contraintes _ Effets Actions   Action
A appartient-à scripts s liens de
séquentialité lt, gt, , OU, ET Corps
Processus élémentaires Conditions
Contraintes _ Effets Processus
élémentaires
30
Activité
Activité a1?A(1), a2a3?A(2), a5?Æ,
a4lta6?A(3), a7?A(4)
31
Modèles de tâche

• pour conduire l'interaction on s'appuie sur le
  modèle de tâche prescrit,
• pour situer le cadre pragmatique on s'appuie
  sur les connaissances requises,
•  
• Le modèle de tâche décrit la structure de
  coordination des activités entre lusager et la
  machine
•  
• Deux catégories de modèles

32
Modèles explicites
Définition un modèle de tâche explicite décrit
de manière explicite la succession des actions
(corps, effets, conditions, ordonnancement, etc.)
conduisant à un but donné.   Propriété ce
modèle convient bien aux tâches dites de
routine.   Formalismes CLG Moran, 81, GOMS
Card, 83, TAG Payne, 86, MAD
Pierret-Golbreich, 89, ETAG Tauber, 90, TKS
Johnson, 91, UAN Hartson, 92, LOTOS
Amodeus, 93 etc.   Outils Arbres ET/OU, ATN,
Pétri, Schémas, etc. richesse des opérateurs
33
UAN Hartson, 92
34
Modèles implicites
Définition un modèle de tâche implicite décrit
seulement le but à atteindre et quelques moyens
pour latteindre.   Propriété ce modèle
convient aux tâches dites innovantes ou de
conception.   Formalismes issus de lIA
exploration darbres de buts Mahler, 85,
Mittal, 85,  sélection et expansion de plans
de conception Brown, 85, proposition et
révision dhypothèses par satisfaction et
propagation des contraintes Marcus,
86,  modification de solutions presque bonnes
Stallman, 77, Howe, 88,   Outils
Prototypes, algorithmes génétiques, etc.
35
Algorithmes génétiques
Pour une séquence P de prototypes donnée et un
but B à atteindre   a) Mutation Pm M(Pm ?
P) b) Croisement Pc C((Pm) ?
(P-Pm)) c) Sélection P S (Pc) d) Satisfecit
si x ? P satisfaisant B alors
arrêt sinon P P' retour a)
36
Modèle dusager
Profil  Perceptif Cognitif
Actionnel (-gt par le langagier et le
non-langagier) Psycho-social   Usage 
Comportement type modèle de lusager ou des
usages ?
37
Les connaissances
38
Modèles dusager
Statiques -gt Dialogue adaptable -
préférences - niveau dexpertise -
particularités langagières - etc.
Dynamiques -gt Dialogue adaptatif -
connaissances évolutives - stratégies
dynamiques - robustesse - etc.   Techniques
39
Architecture Seeheim

• Modèle en couche des dispositifs à
  lapplication
• Seeheim (1980)
• Présentation
• contrôle lexical
• Dialogue
• contrôle syntaxique
• Interface de l'application
• contrôle sémantique

40
Le composant vocal

• 1. Moteur
• 2. Filtrage acoustique
• 3. Filtrage linguistique
• 4. Lexique
• 5. Rehaussement
• 6. Rejet
• 7. Analyse sémantique
• 8. Synchronisation
• 9. Fusion
• 10. Transduction phonétique
• 11. Prosodie

41
La boucle  à événements 
42
ARCH Seeheim révisé
Contrôleur
de Dialogue
Techniques
de
Adaptateur de noyau fonctionnel
Présentation
Interaction de Bas Niveau
Noyau
Fonctionnel
43
ARCH ex. système Matis
Contrôleur
de Dialogue
Techniques de
Interaction de Bas Niveau
Présentation
Entrées et Sorties graphiques
Adaptateur de noyau fonctionnel
Interface Builder
Noyau
Entrées en langage naturel
Fonctionnel
Parser
(Grammaires)
Reconnaissance
Mapper
Phrases
Vocabulaire
reconnues
44
ARCH ex. système Matis
Contrôleur
de Dialogue
Adaptateur du
Noyau
noyau fonctionnel
Fonctionnel
Techniques
de
Requêtes
Présentation
S.Q.L.
Interaction de Bas Niveau
Traduction
Base de
Résultats sous
Données
forme textuelle
45
Modèles à agents

• Modularité et parallélisme
• Conception itérative (modifiabilité)
• Dialogue à plusieurs fils
• Mise en œuvre des collecticiels
• Correspondance avec lapproche objets
• Catégorie dagents réactifs gt classe
• Événement gt méthode
• Encapsulation lagent est seul à modifier son
  état
• Mécanisme de sous-classe

46
MVC (Smalltalk)

• M MODEL la compétence abstraite de lagent
  (noyau fonctionnel)
• V VIEW le rendu perceptible de lagent
  (comportement en sortie)
• C CONTROLLER le comportement en entrée
• Un agent 3 facettes
• Une hiérarchie dagents

47
Architecture PAC (Coutaz 87)

• Une hiérarchie dagents

Présentation
Abstraction
P
A
Contrôle
48
Exemple le réchaud
MasseEau TempEau TempSource

• Deux agents la casserole et le réchaud

ObjetSur
P
A
C
P
A
C
TempRéchaud On/off
ObjetSur
ON/OFF
49
Réchaud(TempSource, TempAmbiant, On,
ObjetSur) facette-P image-réchaud if-MouseCli
ck(button) On Color(button)rouge if-MouseDoub
leClick(button) On Color(button)noir if
TempRéchaud gt Teff image-effluves facette-A if-
On TempRéchaudF(TempRéchaud, t) else
TempRéchaudF-(TempRéchaud, TempAmbiant,
t) facette-C if-ObjetSur TempSource
TempRéchaud Casserole(TempSource, TempAmbiant,
TempEau, MasseEau) facette-P image-casserole
if-MouseDrag(Réchaud) ObjetSur else
ObjetSur if TempEau gt T100 image-bulles facett
e-A TempEauH(TempEau, MasseEau, TempSource,
t) facette-C if- ObjetSur TempSourceTempAmbi
ant
50
ARCH-MVC
Composants indépendants des modalités
51
Exemple agent linguistique
Morpho-syntaxe
Sémantique
Pragmatique
52
Perspectives
Interface, tend à posséder...
 des représentations sur lopérateur, aux plans
cognitif et/ou social, une représentation des
capacités perceptives et sensorielles
humaines,  un modèle du domaine de la
tâche,  un modèle dinteraction et/ou des règles
sociales,   une représentation delle-même (pour
sadapter ou pour être plus générique) et de ses
différents dispositifs.
53
Perspectives
Evolutions prochaines ?   Multimodalité,
multi-sensorialité parole, geste, langage,
vision Modes de communication à distance,
virtualisés, augmentés  Diversité public,
tâches, objets communicants, environnement
Les ingénieurs ne sont pas seuls concernés par
les interfaces
54
Recommandations
A lingénieur il manque des outils génériques de
spécification et de génération des interfaces il
faut en même temps personnaliser linterface il
faut maîtriser tous les dispositifs, les
fiabiliser... il manque des méthodes
dévaluation A lergonome il faut rechercher
une plus grande synergie dans le processus de
conception il manque une ergonomie
prédictive il faut une formation adaptée des
ingénieurs Au sociologue, au juriste il manque
une  logique  des usages il y a des problèmes
éthiques