De nouvelles interfaces pour les applications audiovisuelles et multimdia

1
De nouvelles interfaces pour les applications
audiovisuelles et multimédia
Benoit Macq UCL Louvain-la-Neuve www.similar.cc
2

• Quelques défis
• Les interfaces multimodales
• Fusion et fission de linformation
• Le réseau SIMILAR
• Openinterface.org
• SIMILAR dreams

3
Quelques défis

• A. Quelques défis

• Le grand public et le poste de télévision
  interactive
• La navigation dans les programmes
• La continuité au travers du home network
• La gestion des droits numériques à la maison
• La personnalisation pour e.a. la protection des
  enfants
• Le professionnel, producteur ou enseignant, qui
  fouille dans les archives
• Linvestigateur qui recherche un indice parmi des
  enregistrements audio et vidéo
• Les jeux et apprentissages immersifs
• Lutilisateur mobile et sans mains

4
Quelques défis

• Quelques défis

• Exploiter au mieux les signaux dentrée pour
  lauthentification et la navigation parole/son,
  image/expressions, signes/mouvements
• Permettre une recherche exhaustive tout en
  conditionnant laccès
• Gestion des droits
• Gestion des paiements
• Protection de la vie privée
• Afficher les résultats de recherche de manière
  conviviale, adaptée à lutilisateur
  (professionnel, enfants, personne handicapée, )
• Développer des outils exploitables localement
  (dans un terminal bon marché par exemple)

5
Quelques défis
Quelques défis

• Comment sélectionner les composantes des signaux
  et supprimer les redondances parmi les modalités
  afin daugmenter la robustesse et la fiabilité
  des décisions de linterface ou des processus
  dacquisition des données en entrée?
• Comment fusionner de manière optimale les données
  dentrée des différentes modalités ?
• Quelle modalité pour quelle application/domaine ?
• Comment exploiter les redondances des différentes
  modalités pour un codage source/canal optimal ?

6
Les interfaces multimodales

• B. Interfaces multimodales

Tracking 3D Computer Vision Laboratory Cvlab EPFL
www.alterface.com
7
. Fusion et Fission de linformation

• C. Fusion et fission de la modalité
• La fusion est la combinaison de plusieurs unités
  dinformation pour former de nouvelles unités.
• La fission correspond au processus inverse.
• 2 sortes de modalités
• Actives parole, geste, etc.
• Passives direction du regard, position de
  lutilisateur, prosodie, etc.

8
Fusion et Fission de linformation

• Ergonomie dans la composition de modalités
• ICARE, permettant de spécifier et de développer
  des interfaces combinant des modalités actives et
  passives. Utilise de composants de
  composition(Complémentarité, Redondance et
  Equivalence) BouchetNigay,2004
• lintégration et le respect des propriétés
  ergonomiques permettent dassurer lutilisabilité
  du logiciel final.

9
Fusion et Fission de linformation

• ICARE - Schéma pour linteraction en entrée

10
Le réseau SIMILAR

• SIMILAR www.similar.cc

11
Le réseau SIMILAR

• Intégration de HCI traitement dimage
• Utilisation simultanée de modalités (texte,
  parole, image, vidéo, 3D, contact et gestes)
• Basculement intuitif et sans discontinuité entre
  différents modes dinteraction, de la vision à la
  voix, du contact au geste, en fonction de
  changements du contexte et/ou des préférences de
  lutilisateur et
• Communication adaptable et efficace des
  différentes modalités en utilisant des modes
  dépendants du contexte et/ou des préférences de
  lutilisateur, afin de permettre une dégradation
  douce de linterface si les ressources de
  transmission, de traitement ou de lutilisateur
  diminuent

12
OpenInterface.org
?
?
?

• OpenInterface
• Bibliothèque Multimodale qui intégrera des
  fonctions multimodales génériques et permettra
  aux modules des partenaires dinteragir en
  utilisant le langage SimilarPlatform.
• Eviter les redondances des tâches communes tout
  en développant des applications multimodales
  (p.e. support des formats de données, fonctions
  classiques de traitement audio/image/vidéo,)
• Avoir une plateforme commune qui permettra à tout
  partenaire de se concentrer sur son travail et
  pas sur des tâches déjà faites par dautres
  partenaires (p.e. Lire une image, algorithme FFT,
  )

?
13
OpenInterface.org

• OpenInterface

• Principal Langage de programmation C
• Architecture modulaire composants et plugins
• Support dinteractions avancées abstraction de
  la couche physique (en utilisant des librairies
  secondaires) Langage secondaire pour les
  liaisons (tcl/tk, python, java, )
• Licence de type OpenBSD

ICARE integration
14
OpenInterface.org

• OpenInterface
• Schéma dintégration de modules

15
SIMILAR Dreams
Le premier livre de la collection SIMILAR sera
SIMILAR Dreams, Une introduction à la
collection avec notre vision du futur des
interfaces multimodales