2M : un Espace de Conception pour lInteraction BiManuelle

1
2M un Espace de Conception pour lInteraction
Bi-Manuelle

• Gilles BAILLY, Laurence NIGAY, David AUBER

2
Introduction

• Linformatique ubiquitaire
• Fusion des mondes physique et numérique
• Définition dun espace mixte
• Linteraction bi-manuelle au sein dun
  environnement mixte

3
Introduction

• Domaine dapplication Biologie
• Environnement informationnel mixte pour les
  biologistes
• Manipulation bi-manuelle de grands graphes avec
  des jetons
• Graphe Acide ribonucléique

4
Interaction bi-manuelle au sein dun
environnement mixte pourquoi ?

• Naturelle
• Performante
• Parallélisme
• Augmentation du Langage dInteraction (pouvoir
  dexpression)

5
Interaction bi-manuelle au sein dun
environnement mixte pourquoi ?

• Naturelle
• Performante
• Parallélisme
• Augmentation du Langage dInteraction (pouvoir
  dexpression)

Manipulation dun rectangle rotation/
translation/ homothétie
6
Interaction bi-manuelle attention !

• Pas toujours pertinente selon la tâche
• Exemple
• Kabbash P., Buxton W., Sellen A., "Two-Handed
  Input in a Compound Task", Proceedings of
  CHI94, 417-423.

7
Plan

• Objectifs
• Différentes approches
• Notre espace de conception
• Exemples
• Conclusion et perspectives

8
Objectifs

• Apporter les avantages du monde physique dans le
  monde numérique
• Etude de linteraction bi-manuelle au sein dune
  environnement mixte
• Espace de conception 2M

9
Constat pourquoi un espace de conception

• Aujourdhui systèmes conçus et développés de
  façon ad hoc (faible capitalisation des
  expériences)
• Absence déléments de conception de
  développement dévaluation

10
Objectifs espace de conception

• Organisation des éléments de conception dans un
  canevas cohérent
• Pouvoir taxinomique des systèmes interactifs
  bi-manuels existants
• Pouvoir génératif de nouvelles techniques
• Pouvoir comparatif guide à la conception

11
Plan

• Objectifs
• Différentes approches
• Notre espace de conception
• Exemples
• Conclusion et perspectives

12
Différentes approches

• Exploitation de plusieurs domaines et axes
• Psychologie Guiard 87
• IHM
• Interaction à deux mains Buxton 05
• Multimodalité

13
Psychologie Modèle de la chaîne cinématique

• Coopération à deux mains
• La main non dominante fixe le contexte
• La main non dominante précède
• Macro versus Micro
• La main dominante est la main préférée

14
Différentes approches

• Exploitation de plusieurs domaines et axes
• Psychologie guiard 87
• IHM
• Interaction à deux mains Buxton 05
• Langage de laction
• Relation temporelle
• Multimodalité

15
Langage de laction

• Actions discrètes les actions discrètes sont
  des actions qui impliquent le déclenchement
  discret des événements (saisir au clavier,
  utiliser les touches spéciales, appuyer sur un
  bouton dune souris)
• Actions continues les actions continues sont
  des actions qui impliquent le contrôle continu de
  un ou plusieurs degrés de liberté (déplacer un
  élément graphique avec la souris)
• Actions composées  les actions composées sont
  des actions qui entrelacent des actions continues
  et des actions discrètes (déplacer le curseur sur
  un objet graphique puis le sélectionner avec la
  souris)

16
Langage de laction
17
Relation temporelle
2
1
4
3
18
Différentes approches

• Exploitation de plusieurs domaines et axes
• Psychologie Guiard 87
• IHM
• Interaction à deux mains Buxton 05
• Multimodalité
• Définitions Nigay 94
• Typologie Nigay 93
• Extension Vernier 01

19
Multimodalité Définitions Nigay 94
Dispositif
Langage
Tâche
Modalité
Niveau dabstraction
20
Multimodalité Typologie Nigay 93
Dépendance
Combiné
Lexicale Syntaxique Sémantique
Indépendant
séquentiel
parallèle
Temps
21
Multimodalité Typologie Vernier 01

• Extension par affinement de laxe temporel

Dépendance
Temps
22
Plan

• Objectifs
• Différentes approches
• Notre espace de conception
• Exemples
• Conclusion et perspectives

23
Combiner trois approches
Mutimodalité
Relation temporelle
Langage daction
24
Notre espace de conception 2M
Nature de laction

• Trois axes
• Temps
• usage séquentiel / parallèle
• Nature de laction
• (MND,MD)
• Fusion
• lexicale, syntaxique, sémantique

Temps
Fusion
25
2M Axe Temps
 
Considérés par Buxton
Regroupés sous le terme parallélisme
26
2M Axe Temps
Coïncidente
Concomitante
Parallèle
27
2M Axe Temps
Séquentiel
Coïncident
parallèle
Anachronique
Concomitant
Temps
28
2M Axe Nature de laction
Nature de laction
(Comp,Comp)
(Cont,Comp)
(Cont,Cont)
(Dis,Comp)
(Dis,Cont)
(Dis,Dis)
Coïncident
Séquentiel
parallèle
Anachronique
Concomitant
Temps
Fusion
29
2M Axe Fusion
Fusion Lexicale
Fusion Syntaxique
Fusion Sémantique
Fusion de bas niveau Shift -click
Fusion des paramètres mets ça la
Fusion des tâches Char
Modalité
Niveau dabstraction
30
Notre espace de conception 2M
Nature de laction
(Comp,Comp)
(Cont,Comp)
Dis discrèteCont continueComp composée
(Cont,Cont)
(Dis,Comp)
(Dis,Cont)
(Dis,Dis)
Séquentiel
Coïncident
parallèle
Anachronique
Concomitant
Indépendant
Temps
Lexicale
Syntaxique
Sémantique
Fusion
31
Plan

• Objectifs
• Différentes approches
• Notre espace de conception
• Exemples
• Conclusion et perspectives

32
Notre espace de conception 2M
Nature de laction

• EXEMPLES

(Comp,Comp)
(Cont,Comp)
(Cont,Cont)
(Dis,Comp)
(Dis,Cont)
(Dis,Dis)
Séquentiel
Coïncident
Anachronique
Concomitant
parallèle
Indépendant
Temps
Lexicale
Syntaxique
Sémantique
Fusion
33
Exemples

• Two-Handed Interaction on a Tablet
  DisplayUniversity of California, Berkeley

34
Notre espace de conception 2M
Nature de laction

• Déplacement puis dessin

(Comp,Comp)
(Cont,Comp)
(Cont,Cont)
(Dis,Comp)
(Dis,Cont)
(Dis,Dis)
Séquentiel
Coïncident
Anachronique
Concomitant
parallèle
Indépendant
Temps
Lexicale
Syntaxique
Sémantique
Fusion
35
Notre espace de conception 2M
Nature de laction

• Déplacement puis dessin
• Dessin et changement de couleur

(Comp,Comp)
(Cont,Comp)
(Cont,Cont)
(Dis,Comp)
(Dis,Cont)
(Dis,Dis)
Séquentiel
Coïncident
Anachronique
Concomitant
parallèle
Indépendant
Temps
Lexicale
Syntaxique
Sémantique
Fusion
36
Exemples

• Démonstrateur NavGrapheCLIPS-IMAG et LABRI

37
Notre espace de conception 2M
Nature de laction

• Rotation-Zoom

(Comp,Comp)
(Cont,Comp)
(Cont,Cont)
(Dis,Comp)
(Dis,Cont)
(Dis,Dis)
Séquentiel
Coïncident
Anachronique
Concomitant
parallèle
Indépendant
Temps
Lexicale
Syntaxique
Sémantique
Fusion
38
Exemples

• Déformation de graphes / reconstruction de
  darêtes

39
Notre espace de conception 2M
Nature de laction
(Comp,Comp)
(Cont,Comp)
(Cont,Cont)
(Dis,Comp)
(Dis,Cont)
(Dis,Dis)
Séquentiel
Coïncident
Anachronique
Concomitant
parallèle
Indépendant
Temps
Lexicale
Syntaxique
Sémantique
Fusion
40
Plan

• Objectifs
• Différentes approches
• Notre espace de conception
• Exemples
• Conclusion et perspectives

41
Conclusion

• Interaction bi-manuelle au sein dun
  environnement mixte
• Espace de conception 2M
• Pouvoir taxinomique des systèmes interactifs
  bi-manuels existants
• 20 systèmes classés
• Pouvoir génératif de nouvelles techniquesPouvoir
  comparatif guide à la conception
• Conception de notre environnement mixte pour les
  biologistes basée sur lespace 2M
• Evaluation expérimentale à mener et à lier à
  lespace

42
Questions ?