Aucun titre de diapositive

1
Jean-Philippe MEIYE (CLIPS-IMAG) Geneviève
CAELEN-HAUMONT (CLIPS-IMAG) Christine Joux
(CLIPS-IMAG) Danièle DUBOIS (SILEX /
ENS-PARIS) AFPLA98 Caen, 19-20/03/98

• 1

2

• Problématique Générale
• But nouvelle méthode de validation des
  processus cognitifs à partir de certains
  indices mélodiques (F0M et DF0)
• Métrique des processus cognitifs
• Processus cognitifs pas directement observables
• Construction dindicateurs de paramètres
• Méthodes et indicateurs actuels non
  satisfaisants
• Contexte général des recherches
• Exemple Effets de contexte linguistique

• 2

3

• Problématique Générale
• Caractéristiques de notre méthode
• Matériel - Texte vs. Mots
• Présentation écologique
• Paradigme - Acquisition du signal de parole
• Méthode danalyse - Echelle Temporelle et
  Fréquentielle (F0M et DF0) précises
• Indices prosodiques (mélodiques) gt indicateurs
  cognitifs
• Prosodie évolutions acoustiques de F0, durée
  et lénergie
• Mélodie étude des variations de F0 (indices
  F0Max, F0moy et F0min)
• DF0 F0Max - F0min Caelen-Haumont, 91

• 3

4

• Hypothèses
• Indices fréquentiels (F0Max et DF0) gt effets
  de contexte
• Si structures contextuelles convergentes/divergen
  tes, alors gt niveau de difficulté / facilité des
  traitements cognitifs
• Présence dun contexte congruent gt chute des
  valeurs des indices temporels et mélodiques
  (F0Max et DF0) et inversement
• Différence accrue entre CN vs. CNR ou CR et
  moindre entre CNR vs. CR

• 4

5

• Expérimentation Prosodie et compréhension
• Méthode
• Sujets 10 sujets (3 Filles et 2 Garçons)
• Matériel
• 20 couples ditems amorce-cible issus de la
  norme associative Meiye et Brulex, 96
• 6 textes 3 textes - CHF / 3 textes - CBF

• 5

6

• Expérimentation Prosodie et compréhension
• Méthode
• Traitement des données
• Conventions sur le matériel textuel Extraction
  des tronçons cibles
• Traitement des données
• Convention sur le signal de parole Etiquetage
  items cibles en 1/8 tons

• 6

7
Calcul de F0 et DF0 dans le mot lexical
Représentation spectrale dune phrase étiquetée

• 7

8

• Expérimentation Prosodie et compréhension
  Cible Basse Fréquence
• Résultats
• en fonction du paramètre durée (ms.)
• Plan expérimental S5 x ltC3gt
• Effets significatifs du facteur contexte - Cible
  Haute Fréquence / VD (ms.)
• Effets significatifs du facteur contexte - Cible
  Basse Fréquence / VD (ms.)

P.05

• 8

9

• Expérimentation Prosodie et compréhension
  Cible Haute Fréquence
• Résultats
• en fonction du paramètre DF0 (1/8ème tons)
• Plan expérimental S5 x ltC3gt
• Effets significatifs du facteur contexte - Cible
  Haute Fréquence / VD (1/8)
• Effets significatifs du facteur contexte - Cible
  Basse Fréquence / VD (1/8)

P.05

• 9

10

• Expérimentation Prosodie et multimodalité
  (indices de parole et oculaires)
• Méthode
• Prosodie et Modularité
• Validation des processus automatiques vs.
  attentionnels
• Reconceptualisation ISI et SOA Linguistique
  Dubois, 1994 Meiye, Caelen-Haumont et Dubois,
  97
• Prosodie et Mouvements Oculaires
• Recherche dinvariants entre indices prosodiques
  et indices oculaires.
• Matériel
• 6 versions textuelles déclinées en 3 modalités
  contextuelles
• Relation Sémantique Contrôle (RS Contrôle)
• Relation Sémantique Faible (RS F-)
• Relation Sémantique Forte (RS F)

• 10

11

• Expérimentation Prosodie et multimodalité
  (indices de parole et oculaires)
• Matériel

• 11

12
Expérimentation Prosodie et multimodalité
(indices de parole et oculaires)

• Prédictions
• SOA Court

abeille doit produire du
RS F
Amorce
Cible
ISI Linguistique
SOA Linguistique
RS F-
usine doit produire du
RS Contrôle
affiche doit produire du

• 12

13

• Conclusion et perspectives
• Validation de la méthode dapproche
• Effet significatif des paramètres mélodiques
  manipulés / facteur contexte
• En production - résultats conforment à dautres
  approches (TDL, etc.)
• Plus grand est DF0 et plus le locuteur investit
  cognitivement la cible quil traite
• Augmentation de DF0 gt effet de surprise chez le
  locuteur
• Dautres résultats sont en cours de traitement
• Effet du SOA Linguistique (court vs. long) gt
  modularité des processus
• Comparaison des VD (F0Max vs. DF0)
• Prolongement de la validation
• Processus cognitifs et multimodalités (indices
  prosodiques x indices oculaires) C. Joux - DEA
  98

• 13