Jean Caelen

1
Dialogue générique etportail vocal

• Jean Caelen

2
Objectifs scientifiques un modèle de dialogue
générique

• Une recherche de raisons de laction (but,
  intention, engagement, etc.) plus profondes pour
  modéliser le comportement dialogique
• Un souci de trouver les bons cadres de dialogue
  dans une relation dialogue / tâche la plus
  indépendante possible

3
Objectif économique développer des services
vocaux

• Le téléphone mobile est un vecteur essentiel de
  développement de services vocaux innovants
•  
• Usage répandu
• Coût décroissant
• Pratiques en évolution
• Faible apprentissage
• Objet personnel
• Tarification aisée

 
4
Usage-utilisabilité

• Les pratiques 
• Au CHU entre brancardiers et service de gestion
  contraintes de mains libres, mobilité, nécessité
  de planifier les déplacements de malades
• Les cadres dune grande entreprise utilisent
  dès quils peuvent les connexions Internet par PC
  portable
• Les professions libérales (notaires)
  renseignement, recherche de références de
  documents ou de textes
• Les secrétaires de luniversité renseignement
  par téléphone, services divers comme prise de
  rendez-vous, réservation de salles, redirection
  dappel, prise de messages
• La signification de lusage
• Forte pour des tâches ciblées résolution de
  problème, confirmation en face à face

5
Usage-utilisabilité

• Concurrence dautres médias  (faiblesses du
  téléphone)
• e-mail documents attachés, envois groupés,
  rédaction et réponse différées, traces et
  archivage, pas dattente du correspondant,
  relance automatique
• Fax documents authentifiables, sécurité de
  transmission
• Forces du téléphone
• Mobilité, langage naturel, confidentialité,
  dispositif très répandu et peu coûteux
• Utilisé pour messages courts (renseignement,
  confirmation), sémantiquement riches, urgence,
  authentification du correspondant (pas
  dintermédiaire)
• Conclusion développer des services à laide
  dagents/assistants conversationnels

6
Un portail vocal dentreprise

• Quoi y trouver ?
• Des services dassistance recherche dune
  personne, gestion dagenda, réservation de salle,
  organisation de réunions, imprévus, urgences,
  recherche dinformation
• Des services personnels mémorisation de
  messages, envoi de messages différés, annonces,
  notes personnelles
• Comment y accéder ?
• Par téléphone mobile en y harmonisant dautres
  médias e-mail, fax, Internet
• Dans les deux sens appel vers le portail et
  par une procédure de rappel depuis le portail
• Conclusion accès multimodal, services intégrés

7
Exemple de service intégré

• Organisation dune réunion

temps
8
Verrous en dialogue oral

• La reconnaissance de la parole  aspects
  multilocuteur et multilingues, canal
  téléphonique, robustesse, couverture linguistique
  (en particulier noms propres)
• Lanalyse sémantique richesse des concepts,
  complexité des énoncés, sens commun, couverture
  sémantique
• Lanalyse pragmatique représentation du
  discours, référents à la tâche et au discours,
  connaissances mutuelles
• La gestion de la tâche planification vs. action
  située
• La gestion du dialogue pertinence des
  stratégies, généricité du modèle
• La génération degré de force illocutoire,
  effets perlocutoires
• La synthèse de la parole prosodie du dialogue

9
Architecture
Enoncé oral
Modèles Acous.
Reconnaissance
Modèle Lang.
Morpho-syntaxe
Chaîne orthographique
Référents Tâches
Concepts
Compréhension
Plan
Historique
Schéma sémantique
Acte de langage
Objets
Gestion de la tâche
Interprétation
Connaissances
Gestion du dialogue
Contexte tâche
But
Stratégies
Référence discours
Génération
Buts dialogiques
Action sur le monde
Synthèse TTS
Enoncé oral
10

• Reconnaissance de la parole
• Prend un énoncé oral en entrée et fournit une
  chaîne orthographique en sortie.
• Utilise comme données  les modèles acoustiques
  de la langue, le modèle général de langage et le
  modèle spécifique de la langue de lapplication
  (par exemple noms propres, entités et expressions
  du domaine). On appelle ces entités spécifiques,
  référents de la tâche.
• Ex. dénoncé reconnu   je voudrais réserver la
  salle-de-réunion Lafayette .
• Dans cet énoncé, salle-de-réunion est à la fois
  une expression générale (salle de réunion) mais
  aussi un référent de la tâche (que lon note
  comme une expression insécable). Lafayette est le
  nom de cette salle.

11

• Compréhension (sémantique)
• Prend la chaîne orthographique en entrée et
  fournit un schéma sémantique en sortie (schéma
  conceptuel ou graphe conceptuel ou réseau
  sémantique, etc.).
• Utilise comme données et algorithmes, des outils
  généraux concernant la morphologie, la syntaxe et
  la sémantique, des dictionnaires et/ou des
  thésaurus (ontologies).
• Ex  Verbe(réserver), Modalité(vouloir),
  Objet(salle-de-réunion), Id(Lafayette),
  Agent(je)

12
Lanalyse

• Repérage des expressions figées (comme les
  expressions de politesse) et lemmatisation de
  lénoncé,
• Reconnaissance de patterns syntaxiques
  pré-définis comme les GN (et des idiomatismes
  tels que ce(adjdfem) ltadjgt semaine(subc)
  DATE)
• Liage sémantique des patterns syntaxiques dans
  un même schéma sémantique (distribution des
  fonctions)
• Analyse des groupes fonctionnels
• Analyse des marqueurs grammaticaux et des
  indexicaux
• Liage des indexicaux au contexte de lénoncé
• Filtrage des solutions par rapport au contexte
  de la tâche et au contexte du dialogue (via
  lhistorique)
• Typage final des actes avec leur contenu
  propositionnel

Compréhension
Interprétation
13

• Interprétation (pragmatique)
• Prend une structure de type sémantique en entrée
  et fournit une structure de même type en sortie
  mais enrichie par les actes de langage (la force
  illocutoire et le contenu propositionnel de
  lacte).
• Utilise comme données, lhistorique mémorisé au
  cours du dialogue, le contexte de la tâche
  (représenté sous-forme de thèmes à structure
  arborescente) et des algorithmes de calcul de la
  référence, notamment pour les ellipses et les
  anaphores. La sortie est de forme Fp.
• Ex  FFUx, y  agent(x), Lafayette(y),
  salle-de-réunion(y), réserver(x,y) avec U
  chef-projet(U)

14
SDRT Segmented Discourse Representation Theory

• Représentation logique des énoncés
• Relations rhétoriques entre segments
•  Jean a un âne   x1 y1  Jean(x1), âne(y1),
  possède(x1,y1)
• où  x et y sont des items de lunivers du
  discours (membres gauches) et les prédicats sont
  des propriétés ou des relations entre ces items
  (placés en membre droit).
•  Marie a un chien 
• x1 y1  Jean(x1), âne(y1), possède(x1,y1), x2
  y2  Marie(x2), chien(y2), possède(x2,y2)
•  Il la mordu 
• x1 y1  Jean(x1), âne(y1), possède(x1,y1), x2
  y2  Marie(x2), chien(y2), possède(x2,y2) ? x3
  y3  x3y2, y3y1, mordre(x3,y3)
• Lopérateur ? dénote un conséquent (relation
  rhétorique)

 
 
15
Exemples pour PVE

• U1 Je voudrais organiser une réunion
• FFU x1  réunion(x1), organiser(x1)
• M2 Oui, pour quelle date ?
• FFSM x2 date(x2) ? x1
• U3 Le 20 dans la matinée
• FSU x3 y3 x 3x2, heure(y3) ? x3
• M4 Souhaitez-vous que je men occupe ?
• FFSMx4 y4 x 4x1, réf(y4) ? FFU
• U5 Non, simplement de la réservation de la salle
• FSUx5 x5y4 ? FFUy5  salle(y5),
  réserver(y5)
• U fait réserver une salle (de réunion) par M pour
  le 20 dans la matinée

 
 
16
Contexte de la tâche (thèmes)

• Représentation des thèmes
• Champs lexico-sémantiques (vecteur thématique)
• Relations entre thèmes
• Graphe de dépendance exemple pour la réservation

 
 
Action résa
Formulation pb
Paramètres résa
Annulation résa
17
La réservation
Expose le problème C (intro ? générale)
C - Dem dispo Salle RSG-mat
Chambre date donnée par C
Modif C (Act modif? annul réservat)
Annul RESA-salle C Donne linfo.
Confirm RESA- chmb C
mise en attente - A Consult agd
Possibilité Modif C
Echec
PROP ou SOL
Echec

• RESA-salle-Série de ? A
• Heures ? Quand ?
• Type salle ?
• Date ?
• Organisme ? Nom ?
• Sujet / Motif ?

• Série de ? A
• Quand ?
• pour quoi ?

Réussite

• Série de ? RESA-chambre C
• Prix / Services ? C
• Itinéraire C (explic iti. A)
• Prop envoi fax C
• Dem. Infos div. C

Négoc C

• RESA-chamb.-Série de ? A
• Nom ? A
• Organisme ? A
• Dates / périodes A

Paiement de la facture - A
Série infos fonctionnement-A
C dem coord de A (mail)
Act A RESA ou QUASI-RESA
Explic (de A à C..)
Act A confirm
Act  Demande envoi mail de confirm A
Pb dates - ERR C.
Validation - A
Résumé A Résumé C
Act annulation A
Remerciements Salutations (A C )
18
Gestion du dialogue Calcule le but et décide de
la stratégie. Il envoie ensuite le but à résoudre
au gestionnaire de tâche et les éléments de
réponse au générateur de sortie. Il distribue les
effets des actions à prendre en compte et les
remises à jour aux différents modules. Il utilise
des règles de calcul des stratégies et des règles
de gestion des buts dialogiques (par exemple à
laide de piles ou de files dattente). Ex  ?b1
?x xsalle-Lafayette, réservé(x) Avec
?coopératif
19
Le modèle de dialogue

• Le  jeu de dialogue  est réglé par
• des règles de déclenchement de stratégies,
• des règles de comportement,
• un mécanisme de contrôle du but,
• des règles de reprise/relance par des
  sous-dialogues.

 
20
Le but du jeu
U "dessine un triangle" M "pouvez-vous
préciser ?" U "équilatéral" M "de couleur
rouge ?" U "peu importe" M "OK"
Motive et oriente le dialogue Le dialogue est une
action conjointe
OK
Peu importe
De couleur rouge ?
Équilatéral
Pouvez-vous préciser ?
Dessine un triangle
21
Évolution du but au cours du jeu
- nouveau but ?b, ce but vient dêtre exprimé
par lusager, - but atteint b, létat de la
situation rend le prédicat b vrai, - but
satisfait b, lusager manifeste son accord
explicitement ou implicitement sur b, - but mis
en attente -b, lusager ou la machine résolvent
temporairement un autre problème, - but réparé
b, à la suite dune incompréhension le but est
modifié, - but déplacé b, à la suite dun
compromis le but est modifié, - sous-but sb, le
problème est décomposé en sous-problèmes, - but
abandonné _at_b, à la suite dun échec et dun
souhait dabandon de lusager.
22
Stratégies

• Manière de gérer un échange pour satisfaire le
  but (les rôles peuvent changer au cours des
  échanges)
• Direction dajustement des buts
• Soit bX le but de X et by celui de Y en début
  déchange. Au cours de léchange on peut avoir
• _at_ bx au profit de by X est réactif (by ? _at_
  bxØ)
• Imposition de bx à Y X est directif (bx ? _at_ by
  Ø)
• Partage des buts X, Y sont coopératifs (bx ? by
  )
• Recherche dun compromis X, Y négocient (bx
  ?b? by)
• Détour constructif X, Y font une incidence (bx
  ? Ø ? by)
• Causes déchec incompréhension, incidence ou
  rupture, assertion fausse, présupposé erroné,
  action impossible, erreur ou mensonge

 
 
23

• 1. Stratégie réactive
• Consiste pour B à déléguer linitiative à A soit
  en lui faisant endosser son but (cas de demande
  daide ou dassistance), soit en adoptant son but
  (cas du serviteur). Le déroulement du dialogue se
  fait 
• en maintenant le but de léchange, mais sans
  prendre dinitiative,
• en abandonnant son propre but bB ou en le
  faisant passer sous la dépendance de bA.
• 2. Stratégie directive
• Consiste pour B à garder linitiative pour
  conduire le dialogue
• en maintenant le but de léchange et en gardant
  linitiative,
• en imposant son but bB, (donc on cherche à ce
  que bfbB)
• en ignorant éventuellement celui du locuteur bA,
  qui est donc en quelque sorte considéré comme
  inexistant
• Cela a pour conséquence d'imposer une réponse
  réactive ou négociée à A, et de limiter ainsi la
  variété de ses stratégies.

24

• 3. Stratégie constructive (ou du détour)
• Consiste à déplacer le but courant momentanément
  afin de provoquer un détour (supposé constructif)
  qui nest pas nécessairement une incidence, par
  exemple pour faire remarquer un oubli, une
  erreur, faire une citation, rappeler un fait
  ancien, une expérience, etc. 
• le but courant est mis en attente, ainsi que les
  buts initiaux,
• un nouveau but b est posé,
• linitiative peut être partagée.
• Contrairement à une incidence, un détour ne
  ramène pas nécessairement à léchange initial, il
  peut laisser la conversation en suspens ou
  conduire à un autre détour

25

• 4. Stratégie de coopération
• Consiste à tenir compte du but de son
  interlocuteur en lui proposant une (ou des)
  solution(s) qui les amènent tous deux à atteindre
  leurs buts, si ces derniers ne sont pas
  incompatibles
• cela amène à dérouler un processus complexe
  évaluer la situation, présenter une explication,
  éventuellement des exemples, des aides ou des
  arguments pertinents et offrir un choix fermé
  (parce que plus facile au plan cognitif pour la
  prise de décision), en maximisant lespace de
  concession,
• en procédant par recherche dun optimum dans un
  espace de possibles,
• en accompagnant linterlocuteur jusquà la
  solution,
• en élargissant le but conversationnel si
  nécessaire,

26

• 5. Stratégie de négociation
• La négociation peut se produire dans une
  situation où les buts sont incompatibles et que
  les interlocuteurs veulent minimiser les
  concessions. La négociation procède sur un schéma
  assez classique, par des séquences argumentatives
  (argumentation/réfutation) avec proposition dune
  solution sous-optimale jusquà convergence ou
  constat déchec. La tactique locale est de
• tenter dimposer son but ou accepter un
  compromis,
• maintenir le but conversationnel,
• pousser la négociation le plus loin possible
  jusquà un but acceptable bf,

27
Exemple de modélisation Directif
Règle Au début linitiative est à la machine
pour lui permettre de se présenter et de
connaître son interlocuteur. Elle doit être pour
cela en mode directif. Elle revient à ce mode dès
quune incompréhension surgit (pour éviter le
risque de bouclage ou dimpasse). ((p 0)) v
(FSU(directif)) v (FSM(erreur)) Þ
(ddirectif) Comportement FAMp Þ CMp Ù CM(Cup)
M fait un acte et en enregistre les effets FFMp
Þ CM(FAUp) Ù CMp M fait-faire un acte, U est
supposé exécuter FSMp Þ CM(Cup) M donne une
info. et suppose que U laccepte FFSMp Þ FSUp v
FFSUp M pose une question, et attend de U une
réponse FSUp Ù CondS(p) Þ CMp U donne une
information, M lenregistre nonvide(p) Þ
CondS(p) FSU(contestation) Þ (dnégociation) si
U conteste il y a changement de stratégie FFSUp
Ù CMp Þ FSMp U pose une question de
clarification, M y répond et reprend
linitiative FDMp Þ CM(FAUp) Ù CMp M fait-faire
un acte, U est supposé exécuter
 
28
Le contrôle global (échanges)
Le contrôle global gère les Echanges (changement
de but) et les Interventions (changement de
thème) à laide dun automate relativement simple
qui maintient les buts dans les échanges et
permet de passer dun échange au suivant dès que
le but courant est satisfait. Il opère de même
avec le thème pour les interventions. Le dialogue
est encadré au début par un échange douverture
et à la fin par un échange de clôture.   Dialogue
? Ouverture. Échange.Clôture Échange ?
Intervention Intervention ? Acte Avec
Pile-but(b0) ? Ouverture TantQue Pile-but(b)
Alors Échange FinTantQue Pile-but(vide) ? Clôture
29
Le contrôle local (actes)
USAGER MACHINE
FUp
Analyse Découpage de lénoncé reconnu en
segments conceptuels Calcul de la composante
locutoire (si échec sous-dialogue de
clarification) Planification du dialogue
Recherche du type illocutoire Calcul de la
stratégie Recherche du but b (si échec sous
dialogue de réparation) Ordonnancement des buts
en attente dans la pile Planification de la
tâche Calcul du plan daction découlant des
plans appris de la tâche Construction des
connaissances partagées (si échec sous-dialogue
dexplication) Mise à jour de lhistorique
Planification du dialogue Remise à jour du
modèle utilisateur Calcul de la composante
illocutoire quoi faire Génération Calcul de
la composante locutoire quoi dire Calcul de la
composante perlocutoire (degré force illocutoire)
comment le dire Mise à jour de la situation,
synthèse de la parole
FMp
Cycle suivant
FUp
30
Gestion de la tâche Est un planificateur
classique. Il prend en entrée le but à résoudre
et développe un plan pour latteindre. En cas
déchec il en donne les raisons et propose des
solutions de repli. En cas dincomplétude ou
dimprécision dans la formulation du but en
entrée, il indique les paramètres en cause (par
exemple lorsque les pré-conditions ou les
contraintes ne sont pas satisfaites). Dans des
applications fermées on peut représenter
explicitement les tâches et sous-tâches à laide
dun arbre hiérarchisé. Si les tâches peuvent
évoluer au cours du temps (tâches dynamiques), il
est préférable dadopter un modèle
implicite. Ex  Plan-Réserver (Personne 
chef-projet, Salle  Lafayette, Date  0) Les
pré-conditions ne sont pas satisfaites car
Date0, le gestionnaire renvoie un message
 missing Date  au gestionnaire de dialogue
31
Génération Prend en entrée les consignes du
contrôleur du dialogue et fournit en sortie une
action (suite dinstructions) exécutable et/ou
produit une chaîne orthographique textuelle. Ce
module peut se réduire à sa plus simple
expression (collage de segments dénoncés) sil
existe un adaptateur de noyau fonctionnel qui se
charge de la transformation de la représentation
du message en une chaîne. Ex  ?b2 ?t
Date(t), FFSM(b2) avec ?coopératif gt  pour
quelle date SVP ? 
32
Le degré de force

• Produire lénoncé Fp dans le contexte du dialogue
  avec le degré de force df, cest-à-dire sous la
  contrainte de réalisation du but et à lintention
  de lallocutaire U.
• On peut envisager quatre étapes dans le processus
  
• génération du contenu propositionnel p en
  fonction de lavancée du dialogue et du but de la
  tâche,
• calcul du degré de force en fonction du but
  illocutoire et de la stratégie,
• affinement du degré de force df en prenant en
  compte des rôles que jouent U et M et de leur
  relation, RUM.
• une fois ces informations obtenues, on procède à
  la mise en forme du message de sortie,
  cest-à-dire à la production proprement dite de
  lénoncé.
•  
• Par exemple, FFMp, avec RUM familiarité, p U
  venir(U), engendrerait
• avec df 1 expressif "jaimerais que tu
  viennes"
• avec df 2 insistance "jaimerais que tu
  viennes vite"
• avec df 3 indirect "peux-tu venir ?"
• avec df 4 direct "viens"
• avec df 5 ordre "je tordonne de venir tout
  de suite"

33
Synthèse de la parole Prend en entrée une chaîne
orthographique textuelle et fournit en sortie un
signal sonore. Les données dun système de
système sont généralement une base de diphones et
un analyseur morpho-syntaxique. Les synthétiseurs
commercialisés sont dune relative bonne qualité,
ils peuvent être utilisés à profit dans un
système de dialogue homme-machine. Mais la
plupart du temps on préfère un générateur de
phrases à trous si le nombre de types de réponses
est limité, car la prosodie peut-être mieux
contrôlée.
34
Exemple de fonctionnement (1)
Historique-session vide U0 allô, ici Olivier
Causse Recogtgt allô ici Olivier Causse Compgtgt
Phatique, Verbe(être), Modalité(présentation),
Sujet(Olivier-Causse) Intgtgt thème
/introduction/ Intgtgt FSUU  Olivier-Causse(U)
Dialgtgt ?b0 ?U  rôle(U) Dialgtgt stratégie
?directif Tâchgtgt Plan-Rôle (Personne 
Id(Olivier-Causse), rôle r) Tâchgtgt r
chef-projet Dialgtgt b0 Dialgtgt FSM(b0), RUM
hiérarchique, df 4 Génégtgt phatique(rôle)relanc
e Historique-discours FSUU chef-projet(U)
(on sort de léchange douverture) M0 bonjour
M. le chef de projet. Je vous écoute
 
 
35
(2)
U1 je voudrais réserver une salle Recogtgt je
voudrais réserver une salle Compgtgt
Verbe(réserver), Modalité(intention),
Objet(salle), Dét(un), Agent(je) Intgtgt thème
/réservation/ Intgtgt FFUx1, y1  agent(x1),
salle-de-réunion(y1), réserver(x1,y1) Dialgtgt
b0, ?b1 ?y1 réservé(y1) Dialgtgt stratégie
?coopératif Tâchgtgt Plan-Réserver (personne 
chef-projet, salle  y, date  0) Tâchgtgt
incomplet(date) Dialgtgt ?b2 ?t2
date(t2) Dialgtgt FFSM(b2) Génégtgt
demander(date) Historique-but
b0 Historique-discours FFUx1, y1 
agent(x1), salle-de-réunion(y1),
réserver(x1,y1) ? FFSMt2 date(t2) M1 pour
quelle date SVP ? Etc.
 
 
36
Exemple de session
M0 allô, ici Vocalisa. Je vous téléphone pour
une réunion. Vous êtes bien Jean Caelen ? U0
oui. M1 je vous ai envoyé un e-mail de la part
de Olivier Causse pour une réunion jeudi.
Serez-vous disponible ? U1 non, seulement
vendredi pour cette semaine. M2 merci. Je lui
en fait part. Au revoir.
 
37
Conclusion

• La reconnaissance WebSphere
• La compréhension UNL et ses analyseurs
• Linterprétation pragmatique autour de la SDRT
• La gestion du dialogue en JESS
• La gestion des tâches avec MAD
• La génération UNL et ses générateurs
• La synthèse WebSphere
• Pour PVE, la compréhension et la génération ne
  sont pas des problèmes centraux (il existera dans
  le futur des outils à large couverture
  linguistique)
• Mais linterprétation pragmatique reste le
  problème le plus difficile à résoudre