Diapositive 1

1
(No Transcript)
2
Equipe de Recherche Technologique  Interactivité
Numérique 
Laboratoire L3i Université de La Rochelle
ImagIN Image et Interactivité Numérique
Pascal Estraillier François Picard
3
(No Transcript)
4
Domaines dapplication

• Jeux vidéo
• Exécution adaptative des personnages du jeu
• Logiciels éducatifs
• Situations dapprentissage
• Gestion des actions imprévisibles
• Simulation
• simulation de situations complexes / systèmes
  spatio-temporels
• Régulation Circulation urbaine
• Observation, étude vie artificielle,

• Serious Game
• Niveau stratégique
• Niveau tactique
• Niveau Opérationnel
• Robotique - jouets

5
Activité Interactive

• Concepteur (définition, évaluation de la
  pertinence) --gtdomaine dexpertise
• Joueur(s?) (utilisation) --gt profil
  (préférences, compétences)
• Spectateur (observation)
• Temps réel
• Images animées, scènes (capture, suivi)
• Interaction joueurs , entités
• Présupposé de comportements
• Prise en compte du contexte à chaque instant
• Adaptativité à lexécution
• Feedback Concepteur/Joueur/Spectateur

Lhumain est dans la boucle
6
Contrôle adaptatif de linteractivité et de
lexécution

en fonction du comportement du joueur, en
respectant les consignes du concepteur en tenant
compte de létat des ressources

• Cahier des charges
• Interaction non invasive - gestion de
  limplicite
• Pouvoir analyser en temps réel, de manière
  individualisée,
• le comportement dun joueur
• Continuer le jeu avec la suite la plus adaptée
  en fonction du contexte
• Le concepteur doit pouvoir mesurer la pertinence
  de son jeu

7
Contrôle adaptatif
3
2
Trame scénaristique
1
4
5
6
Traces
8
Cycle acquisition / traitement / visualisation
Capture Image et son
Numérisation
son
Analyse de scène
9
Exécution adaptative
Cycle acquisition / traitement / visualisation
Joueurs PNJ
trace
Concepteur
Capture image
directives
interactions
Scénario prévu
Contrôles
Comportements
propriétés
Scénario observé
analyse
Moteur de lapplication
10
Exécution adaptative dapplications interactives
navigation entre Situations (impliquant
personnages et ressources munis de leurs
interactions)

• Concevoir lactivité interactive
• Définir (utiliser) une Ontologie
• Construire une trame scénaristique
• Définir (utiliser) un système auteur
• Valider la conception
• Concevoir lenvironnement dexécution
• Architecture générale (Données, Traitements)
  gabarits,réutilisation
• Acquisition/Capture explicite, implicite
• Gestion des interactions
• Présentation/Réalité virtuelle
• Exécuter (adaptativité - temps-réel)
• Observer, interpréter, décider et évaluer pour
  adapter
• Méthodes, Modèles, Outils // Données, Traitements

11
Méthodologie cycle de vie

• Définition de lactivité (lauteur)
• Eléments du jeu, règles du jeu, Trame
  scénaristique Directives générales Profils
  types des joueurs Propriétés Principe des
  observations, production des traces
• Personnalisation
• Acquisition de comportements (le joueur)
• Observation et mémorisation des comportements
• Personnalisation (lauteur)
• Profil individualisé
• Directives et traces individualisées
• Implantation sur une architecture système
• Exécution contrôlée
• Génération des traces configuration des
  observations
• Evaluation en temps réel des objectifs (choix des
  directives)
• Contexte (état du jeu), comportement du joueur,
  objectifs de lauteur , respect des propriétés
• Reporting (Exploitation des traces)
• Pertinence de la personnalisation --gt 1.b
• Adéquation du jeu --gt 1
• par rapport aux objectifs (éléments du jeu,
  directives) , au parcours et au comportement

12
Problématique dinterprétation
Intelligence Artificielle
Webcam Clavier Ecran tactile
Exécution Pas-à-pas
Mouvement
Comportement
Geste
Exécution Contrôlée
Acquisition
13
Exécution adaptative

• Initialisation
• Tant que exécution non finie
• décider_action (état-espéré)
• Tant que situation non finie
• configurer_observation (action)
• exécuter_action (action)
• décider_état-observé
• évaluer_distance (état-espéré, état-observé)
• décider_action (état-espéré)
• transition_situation

Action Observation
État espéré
distance
État observé
d1
d3
d2
Une exécution un chemin dans un graphe (fini
?) un arc (arête) du graphe une Action Chaque
nœud un état du système Mot détat
ltR1.état, R2.état, .., Rn.étatgt
14
Conception et Formalisation de lactivité
interactive

• Nouvelle forme de structuration de lactivité
  interactive (trames scénaristiques, situations,
  directives des concepteurs associés aux
  différents comportements de lutilisateur,
  caractérisation de contexte)
• Méthodologie Langage dinteraction concepteur -
  Editeur/Interface Utilisateur adaptée.
• Formalisation des  directives  du concepteur et
  de leurs conditions dapplication.
• Formalisation de la scénarisation (vérification
  des scénarios à partir de propriétés  expertes 
  structurelles ou non fonctionnelles - contraintes
  temporelles liées au scénario)
• -gtméthodes formelles (réseaux de Petri, logique
  linéaire, bigraphes et éléments de la théorie des
  jeux) pour la vérification des scénarios à partir
  de propriétés expertes  (métier) structurelles ou
  non fonctionnelles
• -gtprise en compte des contraintes temporelles
  liées au scénario et aux ontologies structurant
  les connaissances.
•  -gtune approche par transformation de modèle est
  expérimentée.

15
Capture du Comportement utilisateur(s)

• Problématique
•  A bas niveau  capture sans marqueur, analyse
  dimage et de mouvement (séquences temporelles)
  déléments visuels à comportement complexe et
  évolutif, prise en compte des occlusions,
  obtention dune information des profondeurs
  précises.
• A haut niveau  Gestion des connaissances 
  conception par apprentissage adaptatif dun
  modèle du joueur, analyse et filtrage des
  paramètres du modèle dapprentissage
  (identification comportements multimodaux 
  Expressions faciales, états émotionnels,
  mouvement, comportement collectifs sociaux et
  économiques)
• Modélisation des connaissances dexpertise
  Ontologie, mécanismes de fusion
  dinformationClassification de données
  (comportement joueur, état du système, ).
• Modèle de lattention
• Introduction de comportements implicites
• Détection et suivi de détails temps réel.
• Intégration de données sémantiques dans laide à
  lanalyse dimages -gt modélisation de
  lutilisateur, du raisonnement et de lexpertise
  dont le calibrage repose sur des données
  incertaines et évolutives.
• Contraintes temps-réel -gt problèmes difficiles de
  classification des comportements, de détection de
  situations et didentification de contexte
•  

16
Exécution adaptative - Simulation

• Conception des mécanismes, de larchitecture des
  systèmes interactifs et de linterfaçage avec les
  plate-formes dexécution et de stockage et
  dindexation des données.
• Gabarits de conception, Interopérabilité
  Architecture du Système Interactif - Multi-Agents
• Intergiciels pour les applications interactives
  mono et multi-utilisateurs.
• -gt construction formalisée et efficace dun
  modèle adaptatif des acteurs dynamiques du
  système
• -gtmise en œuvre dun mécanisme de contrôle
  dexécution.
• -gtmécanismes de spécification et de vérification
  a priori puis dynamique des scénarios à partir de
  propriétés  expertes  structurelles ou non
  fonctionnelles en utilisant des méthodes
  formelles.
• -gtpassage à léchelle et données incertaines et
  évolutives

17
Thèses

• Exécution adaptative
• Karim Sehaba -gt 2004
• Un modèle de conception centré interactions
  Formalisation et application à la conception de
  systèmes complexes
• Frédéric Collé -gt 2006
• Modélisation de comportements dans les systèmes
  dynamiques 
• Jean-Marie Boussier -gt2003
• Scénarisation dapplications interactives
• Guylain Delmas -gt2009
• Capture et Analyse de mouvement - expressions
  faciales
• Abdallahi Ould -gt2009
• Reconstruction 3D
• Olivier Guillot -gt 2008

• Capture contextualisée de mouvements, en
  environnement non contrôlé, à partir de flux
  vidéo synchronisés
• François Picard (2006)
• Détermination de lattention
• Matthieu Perreira (2006)
• Conception dune plate-forme adptative
  denseignement à distance
• Supparang Ruangvanich (2006)
• Synthèse dynamique de superviseur pour
  lexécution adaptative dapplications
  interactives.
• Nicolas Rempulski (2008)
• Quiproquos et ambiguités
• Pham Phuong Thao (2009)
• Gestion de ladaptation en FOAD
• Frabrice Trillaud(2009)

18
Contrats de Recherche L3i dans le domaine
Image et Interactivité FT_AutiSTIC RobAutiSTIC
Le Parc de lEstuaire Simulateur
dentraînement FOAD PLUG NOE-IRIS

• CPER (2007-2013) (2,3 M)
• Théorie et applications aux médias numériques
• Interactions pour la formation à distance
• Fondation France Telecom pour lautisme
  (2006-2008) (65 K)
• Exécution adaptative et personnalisée
  dapplication interactives.
• Projet labellisé par lANR (programme robotique)
  (2007-2010) (100 K) et CAP Digital
• Exécution adaptative et personnalisée
  dapplication interactives.
• Conseil Général de Charente-Maritime (2006-2009)
  (80 K)
• Jeu éducatif sur un éco-système environnemental
• Contrat DCNS (2006-2008) -
• Simulation adaptative et aide à lévaluation
• Région Poitou-Charentes (2007-2009) - (122 K),
• Formation Ouverte et à distance Présentiel
  virtuel et adaptativité.
• ANR -PLay Ubiquitous Games and play more
  (2007-2009) - (54 K)
• Jeux pervasifs.
• Réseau dexcellence (2008-2011) (225 K)
• Integrating Research in Interactive Storytelling.

19
Conclusion

• Domaine pluridisciplinaire
• sciences cognitives
• modélisation des connaissances
• méthodologie éducative
• Difficultés
• formalisation des observateurs
• processus dinterprétation
• adaptation de cas (globale et locale)
• Avantages
• personnalisation de lapplication à lutilisateur
• évaluation de la pertinence de lapplication
• évolutivité et interactivité des logiciels
• compréhension du comportement de lutilisateur
• Constat
• Dans lindustrie peu de planification,
  dadaptation, dapprentissage, de dialogues
  naturels

20
ImagIN

• Image et comportement - avec contraintes
  temporelles
• capture non intrusive (visage, geste et
  mouvement)
• reconstruction de scène animée (maillages
  multi-résolutions)
• Analyse des comportements implicites ou
  explicites
• ontologie, modélisation des comportements
  multimodaux 
• mécanismes de fusion dinformationClassification
  de données (comportement joueur, état du système,
  ).
• Génie Logiciel pour Systèmes Interactifs
• Système auteur pour la production et la
  personnalisation dapplications interactives
• Approches formelles pour la qualité des
  stratégies dinteraction dans un cadre narratif
• Contrôle contextualisé de lexécution adaptative.

21
Equipe de Recherche Technologique  Interactivité
Numérique 
Laboratoire L3i Université de La Rochelle
ImagIN Image et Interactivité Numérique
Pascal Estraillier François Picard
22
(No Transcript)
23
Problématiques associées

• Image
• Animation procédurale, Rendu non réaliste,
  Illumination locale
• Son
• Son génératifs, Transformation en temps-réel de
  la voix
• IA
• Comportement intelligent (dialogues, attitude,
  comportement de groupe), Modèle du joueur et jeux
  adaptatifs, Optimisation du système
• Génie Logiciel
• Architectures, méthodes, modèles, Gabarits de
  conception, Interopérabilité
• Système / iaD / SMA
• Architecture distribuée, temps-réel, sécurité,
  systèmes spatio-temporels
• Réseau
• Cross Media plat-form, Technologie de
  linformatique ubiquitaire
• Ecriture/Narration/Game Design
• Narration générative, Jeux adaptatifs, Modèle du
  Gameplay, Modèle du joueur, Théorie du Game
  Design
• Psychologie et Sociologie
• Analyse des usages et de la socialisation,
  Facteurs dimmersion (Presence), Interface et
  apprentissage, Effet sur les joueurs (addiction,
  violence), Utilisation des jeux comme traitement
  psychologique

24
Applications Interactives un contexte difficile

• Complexité croissante des applications
• Nombre croissant des objets pris en compte
• Aspects méthodologiques insuffisants
• Changement de contextes fréquents
• Importance de la  satisfaction du joueur 
• La qualité de lactivité interactive est
  uniquement lié à des critères perceptifs
• Importance de lergonomie
• Dépendance à la  compétence  des joueurs -
  apprentissage
• Létat global du système est complexe (pas limité
  à quelques évènements)

25
Trame scénaristique
Problématique  exécution adaptative des
systèmes interactifs 
Traces
Contrôle dexécution
Directives
Scénario
Contributions
Profil de lutilisateur
Interaction

• profil utilisateur
• connaissance de lexpert
• interaction dynamique

Système adaptatif
Trace
Comportements de lutilisateur
Contrôle dexécution
Expert
Analyse de comportement