Analyse de description de timbres de sons : Apport possible pour l

1
Analyse de description de timbres de sons
Apport possible pour lindexation automatique ?
Journée GSAM/SFA Télécom Paris, 23 juin 2005

• Anne Faure
• Thèse Ircam
• Laboratoire  Cognition et Usages , Université
  Paris 8

2
1. Méthodologie
Résultats principaux
2. Analyse de verbalisation libres
Explorer les différents sens dun même mot
Métallique
Regrouper des locutions de même sens
Retours du sautereau
Théorique Pragmatique Linguistique
OUTILS
Technique STONE
3. Lien adjectif / paramètre acoustique
3
Parcours de thèse
4
Quels sons ?
5
Expérience 1 Décrire

• 66 paires des 12 sons
• 20 participants
• Jugement de dissemblance
• Verbalisations libres
• Exemple

le premier est un son plutôt aigu et métallique,
on dirait une corde pincée, un clavecin, le
deuxième est assez sourd
6
Lauditeur parle
7
Conclusions expérience 1

• Beaucoup de données aperçu du champ sémantique
• Richesse / difficultés danalyse ---gt
• Peu de vocabulaire spécifique
• Primauté du temporel (début / milieu /fin du
  son)
• Accès à plusieurs sens audition (grave) ,
  toucher (rugueux), vision (clair)
• Description de la source sonore
• -gt Le son comme trace (signature) dune action
  sur la matière

8
Expérience 2 Echelles sémantiques

• 12 sons / 23 adjectifs de qualité / 30
  participants
• Positionner chaque son sur chaque échelle
• Juger de la pertinence de léchelle

9
(No Transcript)
10
Conclusions expérience 2

• Bonne corrélations inter-sujets
• Bonne correspondance avec lutilisation spontanée
  du vocabulaire (plus aigu)
• Vocabulaire peu spécifique parfois jugé peu
  adapté
• Le sens du mot est ajusté dans le contexte ?

11
Expérience 3Reconnaissance de  portrait 
12 sons / 4 groupes de participants / 201
 portraits  1- Associer un ou plusieurs sons
2- Juger de la pertinence de chaque portrait
12
Plusieurs types de portraits(extraits des
verbalisations libres)

• Instruments
• 37 noms dinstruments ( accordéon ,
   clarinette )
• 6 noms de familles dinstruments ( des bois ,
   des cuivres )
• Les 12  noms  des sons synthétisés
  ( trompette ,  vibrone )
• Actions et matériaux
• 12 modes dexcitation ( on frappe ,   on
  froisse )
• 17 noms de matériaux ( du bois ,  de la peau
  et du métal )
• 26 combinaisons dactions sur un matériaux ( du
  vent dans un tuyau  ,  on casse du verre )
• Qualités (groupe 1)
• Qualités (groupe 2)

13
Correspondance sons associés / sons à lorigine  

• --gt Sur 201 portraits testés, seuls 7 (3) mènent
  à des sons différents de ceux décrits à
  lorigine.
•  Cor Anglais ,  tambour ,  on pince une
  corde ,  pas clair ,  pas résonnant ,
   précis ,  continu .

14
Les Vocabulaires appropriés au son ?
 Cest un son bleu 

• La communication est possible sans vocabulaire
  précis (le sens sadapte au contexte)
• En contexte on reconnaît le lien quun autre à
  fait entre un son et un mot (composante sociale
  du langage)

15
1. Méthodologie
Résultats principaux
2. Analyse de verbalisation libres
Explorer les différents sens dun même mot
Métallique
Regrouper des locutions de même sens
Retours du sautereau
Théorique Pragmatique Linguistique
OUTILS
Technique STONE
3. Lien adjectif / paramètre acoustique
16
Analyse de verbalisations libres ??

• Pleins de mots recueillis comment les mettre
  ensemble ?
• 90 dAPAX une seule occurrence dans le corpus
  
• -gt regrouper des  mots  ou locutions
  différentes de même sens
• Le même mot est utilisé dans des sens différents
  !!!
• -gt séparer des utilisations différentes dun
  même mot
• -gt Garder que les 5 les plus fréquents en
  mélangeant les utilisations différentes ??? MOT
  ETIQUETTE ???
• Pas satisfaisant !

17
 métallique 
18
Sons concernés par  métallique 

• Totalité clavecin et clarinette ---
•  métallique  et  son métallique  clavecin
  et  Striano  
•  Objets Métallique   40  vibrone 
•  Métal  30 vibraphone
• --gt 4 manières dêtre perçu métallique !!!

19
 Clair 
(Cf Travail de Pascale Cheminée LAM)
20
Retours-sauterault
Retours du sautereau
21
-gt regrouper par sens et non par mot, tout en
gardant les mots ( les données) dans
larborescence
22
Support théorique la Pragmatique Linguistique

•  ce qu'on veut dire  (Récanati, 1979)
• "Il s'agit alors d'envisager le langage dans son
  utilisation et non simplement dans son essence
  c'est étudier les différents usages que les
  hommes peuvent faire des mots" (Ludwig, 1997).

23
Il fait chaud !

• ---gt Peux-tu ouvrir la fenêtre ?

24
Règle de communication

• coordination entre partenaires
• accepter certaines règles
• tenir compte des pensées et des intentions de
  ses partenaires
• --gt ce n'est pas tant le sens des mots qui varie
  d'un contexte à l'autre, mais plutôt les
  implications du fait de les prononcer.

25
Vers une nouvelles objectivité sur laquelle
fonder lanalyse de verbalisations en psychologie

• 1-  De toute façon, jinsiste, il ny a pas de
  connaissance pertinente des idées (ou des
  discours) qui puisse faire léconomie du travail
  dinterprétation . (Droit et Sperber, 1999,
  p100)
• 2- On peut observer des Règles dinterprétation
  (Grice, 1979 Sperber et Wilson, 1987 Recanati,
  1979)

26
"Entre vous et moi il y a une ressemblance
extérieure évidente et de cette ressemblance
extérieure vous concluez, par analogie, à une
similitude interne." (Bergson, 1919)
27
Support Technique Codage et analyse STONE
(S. Poitrenaud, Cognition et usages, Paris 8)
28
Arborescence finale
29
3- lien adjectif / paramètres acoustiques

• Projet Ircam Initial recherche de corrélats
  verbaux de dimensions perceptives.
• Ensemble de timbres --gt espace de timbre ici 4D
  (dimensions perceptives corrélats acoustiques
  
• D1 LTM log du temps dattaque
• D2 CGS centre de gravité spectral
• D3 déviation spectrale, D4 ?

30
Corrélats verbaux spontanés Expérience 1
?(thèse Chapitre 5)

• Adjectifs fréquents utilisés pour comparer deux
  sons ( le premier (T1) est plus aigu que le
  deuxième (T2))
• --gt corrélation de rangs de Kendall entre
• Le vecteur T1T2 dans notre espace perceptif et
  la proportion de sujets ayant dit T1 Plus Aigu
  que T2.
• Puis régression Multiple

31
Dimensions 1 et 2 (E1)
Centre Gravité spectral
Log du temps dattaque
32
Echelles Sémantiques (Expérience 2)

• Régression multiple entre
• position moyenne du son sur une échelle
  sémantique ( peu - très aigu ) et
• position dans lespace de timbre.

33
Dimensions 1 et 2 (E2)
Centre Gravité spectral
Log du temps dattaque
34
Comparaison D1-D2
Centre Gravité spectral
Log du temps dattaque
35
Conclusion

• Différence de lien  étiquette  / paramètre
  acoustique en fonction du contexte dénonciation
  libre/ échelle sémantique.
• --gt Glissement de sens ?
• --gt Tenir compte des sens multiples ??
• Les mots sont des OUTILS SOUPLES !!!