Introduction

1
Introduction à l'informatique linguistique

• Mathieu Constant, Eric Laporte
• Licence d'informatique 3
• Université de Marne-la-Vallée
• IGM

2
Cours 12

• Dialogue

3
Dialogue

• Applications liées à la simulation d'un dialogue
• - réservation de voyages
• - réponse à des questions
• - interface téléphonique pour courrier
  électronique
• - génération de comptes-rendus de réunions
• La plupart de ces applications nécessitent la
  reconnaissance de la parole de l'utilisateur

4
Reconnaissance de la parole

• Entrée
• Un signal de parole capté par un micro
• Sortie
• Du texte écrit
• Difficultés
• Interruptions Il me faudrait le... vous avez le
  suivant ?
• Répétitions Il me faudrait le... il me faudrait
  le suivant
• Chevauchements A quelle heure ? - Pardon,
  le 7 mai
• Ambiguïtés Qu'elle freine ? Quel frêne ?
• Euh A quelle heure ? - Euh, à, euh, 18 heures
• Prosodie Qu'elle freine ? Quel frêne ?

5
Reconnaissance de la parole

• Prosodie
• Exemple comparer 72 80 13 et 60 12 93
• Intonation hauteur du son
• Volume ou énergie force du son
• Durée de chaque voyelle ou consonne
• Phonétique
• Exemple comparer 4 22 et 80 2
• katxv?ndø katxøv?dø

6
Tour de parole

• Chacun parle à son tour
• Après la fin d'un tour de parole, ne pas laisser
  de pause avant de répondre
• S'il y a une pause, l'interlocuteur pense qu'on
  n'a pas compris
• Si l'utilisateur laisse une pause, il faut le
  relancer
• A Il y a quelque chose qui vous gêne ou non ?
• B (pause 1 s)
• A Oui ou non ?
• B (pause 1,5 s)
• A Allô ?
• B Non.

7
Signes de compréhension

• Chacun signale régulièrement s'il comprend
• - réponse cohérente avec le tour de parole
  précédent
• A quelle heure ? - A 18 heures.
• - mot de continuation m-hm, oui, bon, OK, et...
• Il part à 16 h 25 - m-hm. - et il arrive à 18
  h 55.
• Je vais à Lisbonne. - Et vous voulez partir
  quand ?
• - reformulation Il arrive à 18 h 55. - 18 h
  55.
• - compléter la phrase de l'interlocuteur
• Il y a un autre vol après celui de... - de 16 h
  25 ?
• - demande de réparation
• A quel taux ? - Comment ?

8
Inférence

• - Quel jour vous voulez partir ?
• - J'ai une réunion le 12 mai au matin.
• L'interlocuteur devine la date du voyage le 11
  au soir ou le 12 au matin
• - Vous pouvez me répéter les horaires ?
• L'interlocuteur devine que la question ne porte
  pas sur la possibilité de répéter, mais plutôt
  sur les horaires

9
Simulation d'un dialogue

• Le système contrôle le dialogue et demande une
  information à la fois

quelle ville de départ ?
réponse?ville
réponse?ville
réponseville
donnez le nom d'une ville
réponseville
où allez-vous ?
réponse?ville
réponse?ville
réponseville
donnez le nom d'une ville
réponseville
etc.
10
Simulation d'un dialogue

• Le système remplit des formulaires (templates,
  frames) prédéfinis
• Formulaire Vol aéroport de départ
• aéroport d'arrivée
• heure de départ
• heure d'arrivée
• classe de tarif
• compagnie
• aller simple/aller-retour
• Si l'utilisateur donne plusieurs informations en
  une seule phrase, le système les retrouve et les
  sauvegarde dans le formulaire

11
Classification des actes de dialogue

• 1. En fonction des actes futurs

Affirmation Demande d'informations Demande de
confirmation Influence sur l'interlocuteur Option
s Ordre Influence sur soi-même Offre Engagement
Conventionnel Ouverture Fermeture Remerciements
12
Classification des actes de dialogue

• 2. En fonction des actes passés

Réponse à offre Acceptation Acceptation
partielle Peut-être Refus partiel Refus Mise
en attente Réponse à question
Compréhension Avis non-compréhension Avis
compréhension OK Répétition Complétion
13
Exemple

• affirm B Je dois voyager en mai.
• dem d'inf, OK A Et quel jour vous voulez voyager
  ?
• affirm, rép B Alors, euh, j'ai des réunions
  là-bas du 12 au 15.
• dem d'inf, OK A Et vous allez où ?
• affirm, rép B A Lisbonne.
• dem d'inf, OK A Et à quelle heure vous voulez
  quitter Paris ?
• dem conf, att B Ben euh, je crois qu'il n'y a pas
  tellement le choix.
• accept, OK A Effectivement.
• affirm Il y a trois vols directs aujourd'hui.
• dem d'inf B A quelle heure ?

14
Exemple

• affirm, opt A Le premier part de Roissy à 10 h et
  arrive à Lisbonne à 12 h 05, heure locale. Le
  deuxième vol part de Roissy à 17 h 55 et arrive à
  Lisbonne à 20 h. Et le dernier part de Roissy à
  20 h 15 et arrive à Lisbonne à 22 h 30.
• accept, OK B Bon, alors je prends le vol de 17 h
  et quelques, la veille, le 11.
• dem conf, OK A Le 11 ?
• affirm, OK D'accord. Départ 17 h 55, arrivée à
  Lisbonne 20 h, par le vol QI 115.
• OK B D'accord.

15
Reconnaissance des types d'actes de dialogue

• Utilisation de la syntaxe des phrases
• affirm B Je dois voyager en mai.
• dem d'inf, OK A Et quel jour vous voulez voyager
  ?
• Même syntaxe, actes différents
• ordre B Est-ce que vous pouvez me donner les
  horaires ?
• dem d'inf B Est-ce qu'on sert à manger sur ce vol
  ?
• (est-ce que vous pouvez souvent un ordre)
• dem confirm B Vous dites qu'il y a un troisième
  vol ?
• affirm B J'ai une carte de fidélité avec cette
  compagnie
• (prosodie différente)

16
Reconnaissance des types d'actes de dialogue

• Par des mots et des constructions syntaxiques
• Est-ce que vous pouvez... ordre
• Par quel... dem d'inf
• D'accord OK
• Par la prosodie
• intonation montante dem d'inf, dem confirm...
• Oui avec intonation montante OK
• Oui avec intonation stable accept
• Par la structure du dialogue
• Oui après affirm OK
• Oui après offre accept

17
Reconnaissance des types d'actes de dialogue

• Observations disponibles sur le dialogue O
• Séquence d'actes de dialogue D
• P(DO) probabilité que la séquence d'actes soit D
  connaissant O
• On recherche argmaxD P(DO) argmaxD
  P(OD)P(D)/P(O)
• argmaxD P(OD)P(D)
• ? argmaxD P(MD)P(PD)P(D)
• où M est l'ensemble des observations sur les mots
  et constructions et P sur la prosodie (on suppose
  M et P indépendants approximation)

18
Reconnaissance des types d'actes de dialogue

• On suppose que m et p pour chaque tour de parole
  sont indépendants des autres tours de parole
  (approximation)
• P(MD) P(m1d1)P(m2d2)...P(mndn)
• P(PD) P(p1d1)P(p2d2)...P(pndn)
• On marque à la main les actes de dialogue dans un
  corpus d'apprentissage
• P(md) pour chaque type d'acte de dialogue on
  entraîne un modèle de Markov dont les états sont
  les mots
• P(pd) on sélectionne quelques caractéristiques
  prosodiques et on entraîne un arbre de
  classification dont les feuilles donnent P(dp)
• P(D) on entraîne un modèle de Markov des
  séquences d'actes de dialogue

19
Séquences d'actes de dialogue

• Modèle de Markov des séquences d'actes de dialogue

ouverture
0,76
0,23
0,99
contrainte
suggest
0,63
0,36
0,18
0,19
0,77
0,22
0,18
accept
refus
0,46
fermeture
20
Reconnaissance des types d'actes de dialogue

• argmaxD P(MD)P(PD)P(D)
• On combine les modèles pour ces 3 probabilités
  dans un modèle de Markov caché
• - Etats les actes de dialogue d1 d2...dn
• - Observations m1 m2...mn et p1 p2...pn
• Utilisation
• - à l'exécution interpréter un tour de parole
  de l'utilisateur
• - pour l'apprentissage interpréter des
  dialogues enregistrés servant de corpus
  d'apprentissage
• - génération automatique de comptes-rendus de
  réunions