L

1
Lentrée gestuelle etla reconnaissance de gestes
2
Quelques exemples de systèmes à entrée
gestuelle,et densembles de gestes
3
a) rectangleb) ellipsec) ligned) groupee)
copief) rotationg) supprimer (x)
4
(No Transcript)
5
Le Graffiti
6
EdgeWrite( http//depts.washington.edu/ewrite/ )

• Une façon méchanique de simplifier la
  reconnaissance de gestes, avec des contraintes
  physiques

7
Tivoli
8
Tivoli
9
Tivoli
10
Menu radial hiéarchique
11
Combinaison de sélection rectangle et lasso
Question comment lordinateur peut-il distinguer
entre le geste à gauche et celui à droite?
12
Reconnaissance de gestes
13
Comment distinguer les gestes dansun Marking
Menu hiéarchique?
14
Comment trouver un coindans un geste?

• Lorsque le geste est bruité ?
• (voir notes écrites)

15
(No Transcript)
16
Comment permettre à un utilisateur (ou un
concepteur) de définir des nouveaux gestes sans
écrire du code ?

• Spécifier les nouveaux gestes avec des
  exemplaires !
• Nécessite de faire du pattern matching entre
  les exemplaires de gestes pré-fournis, et chaque
  geste entré pendant linteraction

17
(No Transcript)
18
(No Transcript)
19
La reconnaissance de gestes avec lalgorithme de
Rubine (1991)

• Chaque geste entré (ou exemple de geste) est
  réduit à un vecteur de caractéristiques (feature
  vector) et correspond donc à un point
  multidimensionnel. Il sagit alors de classer
  ces points parmi les catégories de gestes.
• Taux de reconnaissance gt 95

20
Rubine (1991)http//doi.acm.org/10.1145/122718.12
2753
21
Chaque geste correspond à un vecteur (ou point
multidimensionnel). Ici, les points verts sont
des exemplaires de gestes dune sorte, les rouges
dune autre sorte. Comment classer le geste X ?
22
Solution simple comparer la distance entre le
nouveau geste et chaque exemplaires- Comment
calculer cette distance?- Combien de temps cela
prendra? (Supposons F features (donc un espace
à F dimensions), C classes (ou sortes de gestes),
et E exemplaires par classe).
23
Meilleure solution pré-calculer le centroïde de
chaque classe dexemplaires- Comment
pré-calculer ces centroïdes? - Est-ce quon
sintéresse au temps de calcul?- Comment ensuite
classer le nouveau geste? - Combien de temps
cela prendra?
24
Solution encore meilleure (proposé par Rubine)
pré-calculer des hyperplans pour séparer les
exemplaires. Voir son article pour les détails.
Ci-dessous, un exemple dun cas qui serait mieux
classé avec lapproche par hyperplans quen
comparant des centroïdes. (Notez quen pratique,
ces cas sont peut-être rares, et la complexité de
programmer le calcul des hyperplans ne vaut
peut-être pas la peine.)
Hyperplan qui sépare les exemplaires
Mediatrice entre les centroïdes
25
(No Transcript)
26
Le reconnaissance de gestesavec lalgorithme à
1(Wobbrock et al., 2007)

• Utilise seulement des opérations mathématiques de
  base
• Simple à implémenter en peu de code, sans
  libraries
• Rapide
• Bon pour prototyper des interfaces gestuelles,
  même dans des plateformes moins performants
  (comme Flash ou JavaScript)
• Taux de reconnaissance supérieur à Rubine
• Une des étapes clés rééchantillonage du geste
• (voir notes écrites)

27
(No Transcript)
28
(No Transcript)
29
(No Transcript)
30
Wobbrock et al. (2007)http//doi.acm.org/10.1145/
1294211.1294238
31
(No Transcript)