Conception de Systme Interactif Excution Adaptative

1
Conception de Système Interactif à Exécution
Adaptative Capture de Mouvements Contextualisée
Francois Picard XD Productions, RD
DepartmentParis, France33(0)1-44-26-22-50 fran.
picard_at_gmail.com
Pascal Estraillier Image, Informatics and
Interaction Laboratory (L3i), Department of
Informatics, University of La Rochelle,
France Website http//l3i.univ-larochelle.fr/33
(0)5-46-45-91-14 pascal.estraillier_at_univ-lr.fr
Journée de laction ADAPT 08/09/2009, Toulouse
2

• Motivations
• Développement dapplications scénariséesEntertain
  ment Edutainment
• Expérience de lutilisateur originale,
  enrichissante divertissante
• Applications de type Jeu Vidéo
• Interface non invasive et non limitative
• Interaction directe, pilotée par les gestes du
  corps de lutilisateur
• Adaptation des réactions du système en fonction
  du comportement de lutilisateur
• Immersion dans un environnement virtuel

2/13
3
Principe du processus de capture de mouvements
Le Cyberdôme Société XD Productionswww.xdprod.com
3/13
4
Computers Response
Scenario
3D Events
Scene Events
Scene Visual Restitution
DataInterpreter
Scenario SceneManager
RestitutionDevice
Immersion
Scenario Scene State Evaluation
3D Description
Scene Description
COMPUTER
COGNITION
Behavior Interpretation
USER
Observed Behavior
Scenario Support
Scene Description Events
Behavior Characterization
Motion Capture
DataInterpreter
AcquisitionDevice
Normalized Representation
User Mouvements
Mocap Data
INTERFACES
SYSTEM CORE
Users Action
4/13
5

• Problèmes Solutions
• Représentation du scénario ?
• Apport du scénario au niveau de linterprétation
  ?
• Résolution des ambigüités de sens pour un
  comportement donné ?
• Complexité du système interactif ?
• Modélisation et gestion du contexte au sein du
  système
• Nouvelle perception dune situation donnée
• Cadre détude plus adaptée pour une situation
  donnée
• Réduit le nombre dambigüités de sens
• gt Interprétation plus fiable des données

5/13
6
Représentation du scénario Situation
dInteraction Elémentaire
6/13
7
Représentation du scénario Contextualisation
Context Point of View
lt Contextualized System State gt(t)
lt System State gt(t)
Contextualized Situation
lt Contextualized System State gt(t1)
lt System State gt(t1)
lt Contextualized System State gt(t2)
lt System State gt(t2)
7/13
8
Support du scénario pour linterprétation Le
contexte dune situation implique un comportement
précis de la part de lutilisateur gt
Comparaison du mouvement observé et du mouvement
attendu Mesure de la différence entre deux
mouvements
Behavior Semantic Description
Movement Rules

• Model Focus
• 3D Poses
• Model World Connections

Ontology based interpretation
Characterization Process
Behavior Ontology
Scene Knowledge
8/13
9

• Réduction des ambigüités de sens
• Réactions adaptées du système
• Réinjection des résultats de linterprétation
  dans le système
• gt Orientation des traitements en fonction de
  linterprétation du comportement de lutilisateur
• Orientation de la capture de mouvements
• -gt Vision parallèle de la scène capturée
• Orientation de la gestion de lenvironnement 3D
• -gt Activation / Désactivation découtes
  dévénements 3D
• Orientation (non imposée !) du joueur
• -gt Utilisation de limmersion

9/13
10

• Optimisation du système
• Boucles vertueuses
• Réinjection des résultats de linterprétation
  dans le système
• gt Fermeture du système en boucles contrôlées
• 3 boucles vertueuses
• -gt au niveau du système de capture-gt au niveau
  du système dimmersion-gt au niveau du joueur
• Traitements adaptés au comportement attendu
• -gt Nest traité que ce qui est nécessaire
  systématiquement
• Anticipation des ressources software hardware
• -gt Résultats plus précis et plus fiables
• -gt Diminution du nombre derreurs et
  dincertitudes possibles

10/13
11
Management du contexte au sein du système
interactif
Scene Visual Restitution
Virtual Scene Description
Virtual Scene Events
Scenario Management Processes
Immersion Processes
User Orientation via Immersion
Focus On Scene Events
Behavior Interpretation
COMPUTER
Context Manager
USER
Current Context Object
Expected Behavior Rules Behavior Acceptance
Conditions
Virtual Scene Features
Focus On Model
Cognition Processes
Motion Capture Processes
Mocap Data Normalized Representation
User Mouvements
11/13
12
Informations contextuelles

• Interprétation du comportement
• Règles caractérisant le mouvement de
  lutilisateur
• Connections Model-World
• Evénements 3D
• Identifications des informations contextuelles
• Comportement attendu
• Conditions dacception du comportement observé
• Mesures immersives pour orienter le joueur
• Model Focus
• 3D Event Focus

12/13
13
Scene Visual Restitution
3D Scene Description
Scene Description
3D Events
Scene Events
Immersion
Device
Scene Description
Scene Manager
Interpreter
Scene State Evaluation
3D Events Focus
Events Focus
Opt Model 3D Basis Mapping
User Orientation via Immersion
ContextManager
Scenario Model
Scenario Manager
Current Context Object
USER
Model Focus
Behavior Interpretation
Conditions on Distances for Behavior Acceptance
Interpreter
Distance Interpretation
Distances
Characterization Comparison
Connection Comparison
3D events Comparison
Expected Mvt
Expected Events
Expected Connections
Observed Mvt
Observed Events
MovementCharacterization
Mocap Orientation
Motion Capture
Device
Interpreter
Observed Connections
User Mouvements
Mocap Data
Normalized Representation
Model-World Connection
Model 3D Basis Mapping
World Description
13/13
14
Design de Système Interactif à Exécution
Adaptative Capture de Mouvements Contextualisée
Merci pour votre attention