Toulouse, les 4 et 5 juillet 2003

1
Intégration doutils danalyse de la prosodie
dans PFC
Cyril Auran
Laboratoire Parole et Langage, UMR 6057 CNRS
Disponible sur le site http//www.lpl.univ-aix.fr
/auran/
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
2
Avant-propos

• Intégration doutils dans PFC
• Prise en compte dun cadre méthodologique
  particulier (type/format des données, outils et
  protocoles existants)

• Quels outils pour PFC ?
• Niveau danalyse (orthographe, segments,
  prosodie, autres ?)
• Nature des outils (assistance à lanalyse,
  analyse à proprement parler)
• Prise en compte des finalités du projet
  (description de la variabilité)

Pourquoi intégrer des outils ??
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
3
Plan

• Remarques préliminaires XVIIIèmistes
• De la motivation de lintégration doutils
• Outils non-prosodiques
• Niveau orthographique
• Niveau segmental
• II) Outils pour la prosodie
• Ordre tonal
• Ordre temporel
• Conclusions et perspectives

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
4
Remarques préliminaires (1)
  C'est ainsi que, chaque partie étant pleine
de vice Le tout était cependant un paradis.
Voilà quels étaient les bonheurs de cet État
Leurs crimes conspiraient à leur grandeur, Et
la vertu, à qui la politique Avait enseigné mille
ruses habiles, Nouait, grâce à leur heureuse
influence, Amitié avec le vice. Et toujours
depuis lors Les plus grandes canailles de toute
la multitude Ont contribué au bien commun.
Bernard Mandeville (1714). La Fable des
abeilles, ou les vices privés font le bien public
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
5
Remarques préliminaires (2)
  en échafaudant n'importe quel système de
gouvernement Il faut reconnaître en tout homme un
fripon qui n'a d'autre fin, dans tous ses actes,
que son intérêt privé.   David Hume (1741).  Of
the Independence of Parliament  in Essays, Moral
and Political , Volume I
 Ainsi, sans aucune intervention de la loi, les
intérêts privés et les passions des hommes les
amènent à diviser et à répartir le capital d'une
société dans la proportion qui approche le
plus possible de celle que demande l'intérêt
général de la société.  Adam Smith (1776). The
Wealth of Nations
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
6
Remarques préliminaires (3)

• Motivations de lintégration
• Gain de productivité
• Systématisation des traitements (et des erreurs)

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
7
Outils non-prosodiques
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
8
Outils non-prosodiques (1)

• Pour linstant, deux niveaux danalyse
• Niveau orthographique
• (Aisance dutilisation, base pour dautres
  traitements)
• Niveau segmental

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
9
Outils non-prosodiques (2)
Niveau orthographique Un idéal alignement au
niveau des mots Mais Espoirs variables en
fonction des données PFC
Listes de lecture de mots alignement
 Nbre-Mot 
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
10
Outils non-prosodiques (2)
Niveau orthographique Un idéal alignement au
niveau des mots Mais Espoirs variables en
fonction des données PFC
Lecture de texte alignement  Syntagme  ou
 Phrase 
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
11
Outils non-prosodiques (2)
Niveau orthographique Un idéal alignement au
niveau des mots Mais Espoirs variables en
fonction des données PFC
Conversations ?? (minimalement tours de
parole)
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
12
Outils non-prosodiques (3)
Niveau orthographique Outils pour lannotation
orthographique (semi-) automatique des listes de
mots get_pauses.praat segmentation automatique
à seuil paramétrable, possibilité de vérification
manuelle en cours de traitement, option de
détection de  souffle . add_labels.praat
transfert automatique des étiquettes avec
conservation des remarques manuelles
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
13
Outils non-prosodiques (3)
Illustration Get_pauses
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
14
Outils non-prosodiques (4)

• Niveau orthographique
• Outils pour lannotation orthographique (semi-)
  automatique des lectures de texte et des
  conversations
• Méthode semi-automatique envisageable
  (segmentation - paramètres prosodiques locaux -
  puis transfert détiquettes)
• Méthode automatique (reconnaissance vocale et
  alignement automatique) plus difficile à
  envisager de manière réaliste
• Pbm de la variabilité

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
15
Outils non-prosodiques (5)

• Niveau segmental
• Préoccupation  originelle  du projet
• 2 aspects envisageables
• Segmentation (identification de la nature et
  délimitation des frontières des phonèmes)
• Marquage (pointage dun type de phonème par
  exemple pour analyse formantique)

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
16
Outils non-prosodiques (6)

• Niveau segmental Segmentation
• Méthodes
• Phonétisation manuelle ou automatique (dico ou
  reco)
• Alignement automatique (fondé sur lutilisation
  de modèles phonétiques de type HMM)
• Pbm de la variabilité

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
17
Outils non-prosodiques (7)
Niveau segmental Segmentation Evaluation dun
test préliminaire dalignement (Espesser, Ghio et
Nguyen)
Unités évaluées voyelles (111 items) 2 fichiers
de lecture de mots (aal1 et agm1) Outil utilisé
Aligneur du LORIA
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
18
Outils non-prosodiques (7)
Niveau segmental Segmentation Evaluation dun
test préliminaire dalignement (Espesser, Ghio et
Nguyen)
Ecarts frontière gauche Moyenne absolue 28
ms Moyenne - 16 ms (aligneur après manuel) 63
lt 20 ms 82 lt 40 ms
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
19
Outils non-prosodiques (7)
Niveau segmental Segmentation Evaluation dun
test préliminaire dalignement (Espesser, Ghio et
Nguyen)
Ecarts frontière droite Moyenne absolue 58
ms Moyenne - 45 ms (aligneur après manuel) 38
lt 20 ms 46 lt 40 ms
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
20
Outils non-prosodiques (7)
Niveau segmental Segmentation Evaluation dun
test préliminaire dalignement (Espesser, Ghio et
Nguyen)
Ecarts frontière droite Effets contextuels
(phonème suivant) Type A activité
vocalique Moyenne absolue 47 ms 52 lt 20 ms
/ 60 lt 40 ms
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
21
Outils non-prosodiques (7)
Niveau segmental Segmentation Evaluation dun
test préliminaire dalignement (Espesser, Ghio et
Nguyen)
Ecarts frontière droite Effets contextuels
(phonème suivant) Type S silence ou closure
sourde Moyenne absolue 72 ms 58 dans 60120
ms
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
22
Outils non-prosodiques (7)
Niveau segmental Segmentation Evaluation dun
test préliminaire dalignement (Espesser, Ghio et
Nguyen)

• Conclusions
• 1) Un alignement  décalé à droite 
• 2) Fiabilité insuffisante pour
• le type de phonème généralement le mieux détecté
• Le type de parole le plus normatif (lecture de la
  liste de mots)

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
23
Outils non-prosodiques (8)

• Niveau segmental Marquage
• Méthodes
• Fondée sur une reconnaissance-alignement
• (phase évaluée dans la section précédente
  source derreur supplémentaire)
• Fondée sur des modèles auto-regressifs gaussiens
  caractérisant des zones quasi-stationnaires du
  signal (puis détection de lactivité vocale et
  localisation des voyelles cf. Vocalis, développé
  à lIRIT qui implémente lalgorithme développé
  par R. André-Obrecht)

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
24
Outils non-prosodiques (9)

• Conclusions
• Solutions disponibles et/ou envisageables pour un
  alignement orthographique à différents niveaux
• Alignement automatique au niveau phonématique
  plus délicat marquage plus envisageable que
  segmentation

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
25
Outils prosodiques
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
26
Outils prosodiques (1)

• Prosodie ? Intonation
• Prosodie Système de systèmes
• 3 ordres structurels (Di Cristo, 2001)
• Ordre Tonal
• Ordre Temporel
• Ordre Métrique

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
27
Outils prosodiques (2)
Ordre tonal Différents types de caractérisation
(acoustique, phonétique, phonologique) Différente
s conceptions (interprétation directe,
modélisation holistique ou auto-segmentale)
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
28
Outils prosodiques (3)
Ordre tonal Momel et Intsint (Hirst, Di Cristo
Espesser, 2000) Caractérisation
phonétique/phonologique fondée sur lanalyse
automatique des données acoustiques Conception
auto-segmentale Réversibilité
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
29
Outils prosodiques (3)

• Ordre tonal Momel et Intsint
• Approche instrumentale modulaire
• Outil Momel disponible sous la forme dun
  exécutable Unix/Windows
• Outil Intsint disponible sous la forme dun
  script Perl multi-plateforme
• Pilotage global à partir de Praat

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
30
Outils prosodiques (3)
Illustration Momel-Intsint
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
31
Outils prosodiques (3)
Illustration Momel-Intsint
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
32
Outils prosodiques (4)

• Ordre temporel Motemp
• (Auran Di Cristo, 2003)
• 2 modalités pour la modélisation de la durée
  subjective
• Semi-autonome catégorisation automatique des
  unités préalablement isolées (paramètres durée
  physique, proximité de silence, vélocité F0)
• Autonome Identification de pseudo-syllabes
  (Farinas, 2002) et catégorisation automatique.

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
33
Outils prosodiques (4)
Illustration Motemp
5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
34
Conclusion et perspectives (1)

• Intégration doutils automatiques danalyse
• dans PFC
• Niveau orthographique -gt alignement de
  macro-unités pour les textes lus alignement
  plus fin envisageable pour la liste de mots
• Niveau segmental -gt segmentation délicate mais
  marquage envisageable
• Niveau prosodique -gt implémentation aisée dans
  les ordres tonal et temporel ladoption dun
  cadre danalyse unique constitue cependant un
  problème

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003
35
Conclusion et perspectives (2)

• Nécessité de délimitation précise
• De normes concernant lacquisition des données
• (respect des normes denregistrement, consignes
  compatibles avec un traitement automatique)
• De la politique de gestion des ressources
  informatiques
• (problèmes de la diffusion des sources, des
  exécutables, )
• De la place de lanalyse de la prosodie dans
  le cadre de PFC
• (caractère obligatoire ou optionnel, méthode
  unique ou pas, )

5èmes Journées PFC
Toulouse, les 4 et 5 juillet 2003