Concepts lis au son, usage du son dans les IHM, mon projet de recherche

1
Concepts liés au son,usage du son dans les IHM,
mon projet de recherche

• Sylvain Daudé
• Equipe IIHM
• 7 mars 2002

2
Plan de l exposé

• Concepts sur le son
• Usage de sons dans les IHM
• Mon projet de recherche

3
De la vibration acoustiqueau signal sonore

• Son sensation auditive engendrée par une
  vibration acoustique
• Enregistrement de la vibration par un capteur de
  pression
• gt pression en fonction du temps signal
  sonore
• assimilé à la vibration acoustique

pression
temps
4
Mécanismes de la  sensation auditive  (1/3)

• Mécanismes mis en jeu dans la sensation auditive
  
• localisation de la source du son
• azimut direction dans un plan horizontal
• élévation direction dans un plan vertical
• distance
• diffusion, orientation, occlusion, dynamique des
  sources
• gt séparation de sources provenant dendroits
  différents
• processus actif mouvements de la tête,  effet
  cocktail 

5
Mécanismes de la  sensation auditive  (2/3)

• Mécanismes mis en jeu dans la sensation auditive
  
• identification de la source
• comparaison du son à des archétypes de sources
  sonores recherche de corrélation entre les
  sources
• gt séparation des sources provenant du même
  endroit ( effet cocktail )
• gt classification des sources en catégories
  gt assignation dune sémantique aux sources
• intervention des autres sens

6
Mécanismes de la  sensation auditive  (3/3)

• Mécanismes mis en jeu dans la sensation auditive
  
• analyse qualitative du son
• hauteur (fréquence du signal sonore)
• timbre texture sonore
• couleur (composition en fréquences)
• aspects dynamiques (attaque, extinction,
  évolution fréq.)
• intensité sonore (amplitude du signal sonore)
• composition des sons (enchaînement temporel,
  consonance)

7
Apport du sonpar rapport à la vision (1/2)

• Canal supplémentaire
• plus dinformations à la fois
• décharge cognitive lorsque plusieurs canaux
  sensoriels sont utilisés
• média d ambiance
• disponible en permanence
• ne nécessite pas d action physique
• zone de perception plus étendue que devant un
  écran par ex.
• utile lorsque les autres canaux sont saturés ou
  indisponibles(ex canal visuel petits écrans,
  temps de brouillard, cockpits)

8
Apport du sonpar rapport à la vision (2/2)

• Outil d analyse
• Timbre localisation information
  multidimensionnelle
• gt analyse de données multidimensionnelles
• Analyse de corrélations temporelles

9
Les limites du son

• Pas de possibilité darrêt sur image (par ex,
  difficile de comparer deux sons longs)
• Imprécision de lanalyse du son pour les sons
  non parlés (en général, nécessité de revenir à
  l information première)
• Fatigue pour les sons fréquents ou répétitifs
• gt à utiliser avec modération et à propos

10
Représentationsdu son (1/3)

• Représentation temporelle signal sonore
• représentation utilisable pour
  lenregistrement et la synthèse
• accès à lintensité et au temps
• - pas d accès à la hauteur ni au timbre
• Solution faire intervenir la fréquences

11
Représentationsdu son (2/3)

• Représentation fréquentielle
• Représentation fidèle et réversible
• Opérations mathématiques facilitées
• Accès à la hauteur ( fréquence)
• - Disparition du temps
• Instabilité par rapport à la représentation
  temporelle
• Inadaptation au temps réel
• Solution Faire intervenir à la fois le temps et
  la fréquence

12
Représentationsdu son (3/3)

• Représentation temps-fréquence
•  Visualisation  du son
• (hauteur, timbre, intensité, temps)
• - Représentations spécialisées
• en visualisation (non linéaires WignerVille)
• en traitement du signal (linéaires
  ondelettes)
• Nécessité d un compromis dans les
  échelles temps-fréquence (Heisenberg)

13
Ex 1 représentation temps-fréquence de sons
périodiques
Harmoniques fréquencesmultiples de
la fondamentale
Fondamentale
La fondamentale de ce son
Son de clarinette

• Deux processus perceptifs concurrents pour la
  hauteur
• la fréquence de la fondamentale (ex son de la
  fondamentale)
• lintervalle entre les harmoniques (ex
  transistors)

14
Ex 2 représentation temps-fréquence de sons
voisés
Voyelles
Formants déterminent lavoyelle (leur
répartitiondépend du sexe et du registre)
Fondamentale hauteur duson (partie voisée)
i
é
è
Consonnes
Partie bruitée instable, étalée en fréquences gt
hauteur ambiguë
p
t
k
15
Ex 3 représentation temps-fréquence dautres
sons
Son de percussion étalé en fréquence, pas de
sensation nette de hauteur
Illusion de Shepard-Risset ambiguïté dans la
perception de la hauteur
16
Plan de l exposé

• Concepts sur le son
• Usage de sons dans les IHM
• Mon projet de recherche

17
Usage du sondans les IHM

• Son en entrée information ou bruit
• traitement de signaux sonores
• Son en sortie Pressing, 1997
• artistique (informatique musicale)
• environnemental (jeux, réalité virtuelle)
• informatif (monitoring, feedback, auralisation)
• Hors IHM stockage d enregistrements,
  psycho-acoustique...

18
Classification des sonsinformatifs (1/4)

• Linformation de référence est sonore
  multimédia
• Linformation nest pas sonore traduction
  sonore de linformation sonification
• Synthèse de parole

19
Classification des sonsinformatifs (2/4)

• Linformation de référence est sonore
  multimédia
• Linformation nest pas sonore traduction
  sonore de linformation sonification
• Auditory Icons (Gaver) sons analogiques
• intuitif
• - difficile à réaliser techniquement, design

20
Classification des sonsinformatifs (3/4)

• Linformation de référence est sonore
  multimédia
• Linformation nest pas sonore traduction
  sonore de linformation sonification
• Earcons (Blattner) sons arbitraires organisés
  selon une grammaire arbitraire
• simple à réaliser
• - nécessité dapprentissage, grammaire limitée

21
Classification des sonsinformatifs (4/4)

• Linformation de référence est sonore
  multimédia
• Linformation nest pas sonore traduction
  sonore de linformation sonification
• Fonction de correspondance de paramètres
  transfert de la structure de linformation
  vers la structure du son
• sonification la plus proche de
  l information
• - paramètres structurels significatifs dans
  l info
• et dans le son difficiles à trouver, au cas
  par cas

22
Le son 3Ddans les IHM

• La spatialisation de sons en IHM peut avoir pour
  but
• de présenter plusieurs sources grâce à l effet
  cocktail
• de définir des sons réalistes (ex réalité
  virtuelle)
• de permettre une métaphore (ex métaphore de
  lhorloge, Brewster)
• de prolonger virtuellement le monde réel
• (ex RA, systèmes pour aveugles)

23
Plan de l exposé

• Concepts sur le son
• Usage de sons dans les IHM
• Mon projet de recherche

24
Projet de recherche

• Earcons Phicons Phearcons
• Définitions
• Earcons (Ear Icons, Blattner)
• messages audio non parlés utilisés dans
  linterface machine-homme pour donner à
  lutilisateur des informations sur des objets,
  des interactions ou des opérations de
  lordinateur
• Phicons (Physical Icons)
• objets physiques permettant la manipulation
  d objets virtuels

25
Projet de recherche objectifs

• Concevoir et développer une plate-forme qui
  permet
• Lassociation entre un concept du domaine et un
  objet physique
• Lien dynamique et explicite entre le monde
  numérique et le monde réel
• Lassociation entre un concept du domaine et une
  sonification
• Conception de linterface en sortie
• Lassociation entre un objet physique et une
  sonification modification du rendu sonore par
  manipulation dobjets physiques
• Conception de l interface en entrée

26
Exemples dapplication

• Tâches de monitoring
• Média dambiance

27
Exemples dapplication

• Tâches de monitoring
• Media dambiance effet cocktail

28
Exemples dapplication

• Tâches de monitoring
• Intérêts
• Manipulation des sources mise en avant dune
  source quand nécessaire (exemple de la tasse à
  café)
• Mémorisation accrue car lassociation est faite
  par lutilisateur

29
Exemples dapplication

• Jeu augmenté
• Réalité augmentée
• Spatialisation du son traduisantle déplacement
  effectué par l enfant

30
Exemples dapplication

• Musique
• Objet physique
• instrument de musique paramétrable

31
Plate-forme à concevoir

• Flexibilité
• Choix des objets physiques
• Reconnaissance de la position des objets dans
  l espace
• Choix des sources dinformations
• Liens avec des applications existantes
• Choix des sonifications

32
Plate-forme à concevoir

• Définition des liens entre objets physiques,
  sonificationet concept du domaine
• Lien (objet physique, concept du domaine)
• Multimodalité paradigme du mets çà là
• Définition par parole  cet objet est le
  niveau sonoredans la cafet  geste de
  désignation de l objet
• Lien (concept du domaine, sonification) ???
• Lien (objet physique, sonification) ???

33
Projet de recherche étapes de travail

• Etat de lart applications, sonification etc.
• Expérimentations fréquentes magicien dOz dans
  le playground
• Espace de conception caractéristiques
  pertinentes
• Lien avec le processus de visualisation (thèse
  Fred)
• Conception et développement de la plate-forme

34
Projet de recherche exemples de problèmes (1/2)

• Identifier des applications candidates
• (e-mail, activité distante, cubes de jeu etc.)
• Critères de correspondance entre source et
  sonification
• trouver les métaphores possibles par application
• quelles caractéristiques ?

35
Projet de recherche exemples de problèmes (2/2)

• Conception de la plate-forme
• Comment spécifier une sonification ?
• Comment présenter une sonification ?
• Proposer un ensemble d objets prédéfinis

36
MERCI !
37
Annexe 1 Vibration acoustique
Vibration acoustique succession rapide d ondes
de compression et de dépression
Décompression
Zone comprimée
Nouvelle zone comprimée
...
Source sonore
Propagation de londede compression
Milieu ambiant (air, eau)
38
Annexe 2 Perception d une source en 3D

• Azimut
• déphasage interaural
• ? intensité interaurale

• Élévation
• ? timbre (source connueou en mouvement)

• Distance
• atténuation intensité, BF, HF
• taux son direct / réverbéré

Autres propriétés orientation (sources
directives), diffusion (sources réparties),
occlusion Autres indices dynamique de la
source, mouvements de tête, couplage avec le
visuel
39
Annexe 3 Son 3D dispositifs de sortie

• 1 canal distance, élévation ex
  hauts-parleurs directifs
• 2 canaux azimut
• sur hauts-parleurs
• stéréo son entre les hauts-parleurs
•  décorrélation croisée son venant des côtés
• sur écouteurs
• stéréo son à lintérieur de la tête
• HRTF filtrage des oreilles
• BRIR propriétés acoustiques de la salle
• Autres systèmes  pseudo-3D  (quadriphonie,
  5.1, THX) meilleure précision, meilleur
  réalisme,
• agrandissement de la zone de bonne écoute
• Rares systèmes de vraie 3D (CNMAT)