Jean Caelen, Anne Xuereb

1
AtelierUn système de dialogue homme-machine PVE

• Jean Caelen, Anne Xuereb

2
Présentation de latelier
10 mn Description de PVE  cadre, objectifs 30
mn Fonctionnement général du système  les
trois modules D, T, I 60 mn Exercices
3
Objectif économique de PVE développer des
services vocaux pour les entreprises

• Le téléphone mobile est un vecteur essentiel de
  développement de services vocaux innovants
•  
• Usage répandu
• Coût décroissant
• Pratiques en évolution
• Faible apprentissage
• Objet personnel
• Tarification aisée

 
4
Usage-utilisabilité

• La signification de lusage du dialogue
  homme-machine
• Forte pour des tâches ciblées résolution de
  problème, confirmation en face à face
• Concurrence dautres médias  (faiblesses du
  téléphone)
• e-mail documents attachés, envois groupés,
  rédaction et réponse différées, traces et
  archivage, pas dattente du correspondant,
  relance automatique
• Fax documents authentifiables, sécurité de
  transmission
• Points forts du téléphone
• Mobilité, langage naturel, confidentialité,
  dispositif très répandu et peu coûteux
• Utilisé pour messages courts (renseignement,
  confirmation), sémantiquement riches, urgence,
  authentification du correspondant (pas
  dintermédiaire)
• Conclusion développer des services à laide
  dagents/assistants conversationnels

5
Un portail vocal dentreprise

• Quoi y trouver ?
• Des services dassistance recherche dune
  personne, gestion dagenda, réservation de salle,
  organisation de réunions, imprévus, urgences,
  recherche dinformation
• Des services personnels mémorisation de
  messages, envoi de messages différés, annonces,
  notes personnelles
• Comment y accéder ?
• Par téléphone mobile en y harmonisant dautres
  médias e-mail, fax, Internet
• Dans les deux sens appel vers le portail et
  par une procédure de rappel depuis le portail
• Conclusion accès multimodal, services intégrés

6
Exemple de service intégré

• Organisation dune réunion

temps
7
Architecture
Énoncé oral
Modèles Acous.
Reconnaissance
Modèle Langage
Morpho-syntaxe
Chaîne orthographique
Référents Tâches
Concepts
Compréhension
Plan
Logiques
Schéma sémantique
Objets
Acte de langage
Gestion de la tâche
Requêtes
Interprétation
Gestion du dialogue
But
SDRS
Ontologie jeux
Stratégies
Génération
Buts dialogiques
Action sur le monde
Synthèse TTS
Énoncé oral
8

• Reconnaissance de la parole
• Prend un énoncé oral en entrée et fournit une
  chaîne orthographique en sortie.
• Utilise comme données  les modèles acoustiques
  de la langue, le modèle général de langage et le
  modèle spécifique de la langue de lapplication
  (par exemple noms propres, entités et expressions
  du domaine). On appelle ces entités spécifiques,
  référents de la tâche.
• Ex. dénoncé reconnu   je voudrais réserver la
  salle-de-réunion Lafayette .
• Dans cet énoncé, salle-de-réunion est à la fois
  une expression générale (salle de réunion) mais
  aussi un référent de la tâche (que lon note
  comme une expression insécable). Lafayette est le
  nom de cette salle.

9

• Compréhension (sémantique)
• Prend la chaîne orthographique en entrée et
  fournit un schéma sémantique en sortie (schéma
  conceptuel ou graphe conceptuel ou réseau
  sémantique, etc.).
• Utilise comme données et algorithmes, des outils
  généraux concernant la morphologie, la syntaxe et
  la sémantique, des dictionnaires et/ou des
  thésaurus (ontologies).
• Ex  Verbe(réserver), Modalité(vouloir),
  Objet(salle-de-réunion), Id(Lafayette),
  Agent(je)

10

• Interprétation (pragmatique)
• Prend une structure de type sémantique en entrée
  et fournit une structure de même type en sortie
  mais enrichie par les actes de langage (la force
  illocutoire et le contenu propositionnel de
  lacte).
• Calcule la SDRS
• Utilise comme données, lhistorique mémorisé au
  cours du dialogue, le contexte de la tâche et des
  algorithmes de calcul de la référence, notamment
  pour les ellipses, les anaphores, etc. Traite les
  présupposés et les implicatures.
• Ex  FFUx, y  agent(x), Lafayette(y),
  salle-de-réunion(y), réserver(x,y) avec U
  chef-projet(U)

11
Données pour linterpréteur

• Règles de calcul de lacte Fp
• Prise en compte des marqueurs discursifs
• Résolution des attentes
• Règles de construction de la SDRS
• Calcul du type de relation rhétorique
• Rattachement de lacte
• Résolution des référents
• Résolution des présuppositions et des
  implicatures
• Construction du nud topique
• La SDRS à chaque pas du dialogue

 
 
12
Gestion du dialogue Calcule le but et décide de
la stratégie. Il envoie ensuite le but à résoudre
au gestionnaire de tâche et les éléments de
réponse au générateur de sortie. Il distribue les
effets des actions à prendre en compte et les
remises à jour aux différents modules. Il utilise
des règles de calcul des stratégies et des règles
de gestion des buts dialogiques (par exemple à
laide de piles ou de files dattente). Ex  ?b1
?x xsalle-Lafayette, réservé(x) Avec
?coopératif
13
Données du contrôleur de dialogue

• Le jeu de dialogue réglé par
• des règles de déclenchement de stratégies,
• des règles de comportement,
• des règles de reprise/relance par des
  sous-dialogues.
• Les données de gestion des intérêts (matrices,
  arbres de conflits)
• Une ontologie pour repérer lavancée du jeu (et
  prédire les effets projectifs) sorte de modèle
  dactivité du dialogue

 
14
Ontologie
15
Gestion de la tâche Est un planificateur
classique. Il prend en entrée le but à résoudre
et développe un plan pour latteindre. En cas
déchec il en donne les raisons et propose des
solutions de repli. En cas dincomplétude ou
dimprécision dans la formulation du but en
entrée, il indique les paramètres en cause (par
exemple lorsque les pré-conditions ou les
contraintes ne sont pas satisfaites). Dans des
applications fermées on peut représenter
explicitement les tâches et sous-tâches à laide
dun arbre hiérarchisé. Si les tâches peuvent
évoluer au cours du temps (tâches dynamiques), il
est préférable dadopter un modèle
implicite. Ex  Réserver (Personne  Id(U),
Salle  Id(Lafayette), Date  ?) Les
pré-conditions ne sont pas satisfaites car
Date?, le gestionnaire renvoie un message
 missing Date  au gestionnaire de dialogue
16
Données du gestionnaire de tâches
Langage de requêtes Sélectionner (salle, taille,
matériel) Consulter_agenda (salle,
date) Réserver ( pers, salle, date) Envoyer-messag
e (but, auteur, pers, mode) Etc. Modèle de
tâches BD dobjets
17
Sélectionner (salle, taille, matériel) 
Consulter_agenda (pers, salle,
date) Réserver (pers, salle, date) Pré-conditions
possède-droit(pers, salle) ? (date gt
date-courante) ? identifier(salle) Corps
modifier-agenda (salle, date) Contraintes 
est-disponible(salle, date) if-échec 
Compte-rendu(effets) if-succès  Confirmer(pers)
? Réserver(Matériel) ? Prévenir(participants) Pos
sède-droit(pers, salle) Identifier(salle) Pré-c
ondition appartient (pers, entreprise) Pré-cond
appartient (salle, entreprise) corps
Vérifier-droit(pers, salle) corps
Vérif-existe(salle, taille, matériel) if-échec 
?possède-droit(pers, salle) if-échec 
?existe(salle) if-succès  possède-droit(pers,
salle) if-succès  existe(salle) Modifier-agend
a(salle, date) pré-conditions
droit-accès(agenda(salle)) corps
Ecrire-réservé(pers, date) Objet Salle
Lafayette Objet Salle Bleue Id_Propriétaire 
direction Id_Propriétaire  équipe-projet Id_Age
nda  ag_Lafayette Id_Agenda  ag_Bleue Effet 
appartient(salle, entreprise) Effet 
appartient(salle, entreprise) Taille-max  50
Taille-max  10 Matériel  vidéo-projection
Matériel  vidéo-projection OU tableau-tactile
BD
18
EnvoiMessage (but, auteur, dest, op, mode) 
ITER Message (but, auteur, pers,
mode) Pré-conditions possède-droit(auteur,
pers) ? identifier(dest, pers, op) Corps
Composition (but, message) ? Expédition (pers,
mode) Contraintes  mode if-échec 
Compte-rendu(effets) if-succès  Confirmer(pers)
? Prévenir(auteur) Possède-droit(auteur, pers)
Identifier(dest, pers, op) Pré-condition
appartient (pers, entreprise) Pré-cond
appartient (dest, pers) corps
Vérifier-droit(pers) corps
Extraction-op(pers) if-échec  ?possède-droit(aute
ur) if-échec  ?liste(dest) if-succès 
possède-droit(auteur) if-succès 
liste(dest) Composition (but, message) Pré-condit
ion identifier(but) corps Ecrire(but,
message) Pers Chef-Projet Pers
Membres-PVE Id_Chef-projet  Olivier Causse
Id_Membre  Jean Caelen Id_Membre  Olivier
Causse Id_Membre  Solange Hollard
Id_Membre  Evelyne Millien Id_Membre 
Luc Rodet
BD
19
Génération Prend en entrée les consignes du
contrôleur du dialogue et fournit en sortie une
action (suite dinstructions) exécutable et/ou
produit une chaîne orthographique textuelle. Ce
module peut se réduire à sa plus simple
expression (collage de segments dénoncés) sil
existe un adaptateur de noyau fonctionnel qui se
charge de la transformation de la représentation
du message en une chaîne. Ex  ?b2 ?t
Date(t), FFSM(b2) avec ?coopératif gt  pour
quelle date SVP ? 
20
Synthèse de la parole Prend en entrée une chaîne
orthographique textuelle et fournit en sortie un
signal sonore. Les données dun système de
système sont généralement une base de diphones et
un analyseur morpho-syntaxique. Les synthétiseurs
commercialisés sont dune relative bonne qualité,
ils peuvent être utilisés à profit dans un
système de dialogue homme-machine. Mais la
plupart du temps on préfère un générateur de
phrases à trous si le nombre de types de réponses
est limité, car la prosodie peut-être mieux
contrôlée.
21
Le cycle des opérations Igtgt O1  Mise du schéma
sémantique sous une forme logique p appelée
contenu propositionnel, Igtgt O2  Calcul de la
force illocutoire FUp, Igtgt O3  Calcul de la
SDRS et résolution des sous-spécifications, Dgtgt
O4  Détermination du but de FUp et
ordonnancement des buts en attente, pour faire
émerger le but courant, Dgtgt O5  Calcul de la
stratégie, Tgtgt O6  Tentative de résolution du
but courant, au regard du modèle de tâche,
DTGgtgt O7  Si succès alors action, DITgtgt
O8  Si échec alors analyse de léchec puis
activation de demande de correction ou de
négociation, Dgtgt O9  Ordonnancement des buts
(élimination des buts satisfaits et intégration
des nouveaux buts), Ggtgt O10  Génération de
lénoncé de la machine et synthèse vocale,
Tousgtgt O11  Mise à jour des connaissances et
des historiques. Cette opération est effectuée
par chaque module pour son propre compte,
22
Les échanges de données
23
Exemple de dialogue (avec SDRS)
U  Luc Blanc à lappareil. ?1
Est-ce que la salle Lafayette est disponible
demain ? ?2M  Non. ?3 Elle est
disponible jeudi ?4U  Bon eh bien
réservez-la moi ?5M  Voulez-vous réserver
aussi le rétro-projecteur ? ?6 U Oui,
merci ?7
 
Cet exemple illustre quelques autres problèmes à
résoudre   Luc Blanc  est un présupposé à la
fois quil sagit du prénom et du nom dun usager
mais aussi quil fait partie de lentreprise et
quil est familier du système  jeudi  est
certainement la première date de disponibilité la
plus proche après lundi  réservez-la  contient
une anaphore de salle mais aussi de date car la
proposition  jeudi  na pas été remise en
question  rétro-projecteur  présuppose que la
salle Lafayette peut-être équipée dun tel
appareil, que Luc Blanc en aura peut-être besoin
et quil vaut mieux de toutes façons le réserver
à lavance.
24
SDRS ?1


25
SDRS
26
SDRS
?1
Arrière-plan
?2
QAP
?3
27
SDRS
28
SDRS
29
SDRS
30
Exercice
U allô, je voudrais réserver une salle pour
lundi ?1, ?2 M  oui. Quel est votre
nom ? ?3 U  je suis Boris. ?4 M
désolé, toutes les salles sont déjà prises
mais je vais me renseigner pour savoir si un
arrangement est possible. Je vous
rappelle. ?5U bon merci ?6 M 
ltcalcule la fonction dutilité de chaque acteur
dans lagenda de réservation à la date
 lundi , choisit Marie Rainer et lappellegt M 
bonjour madame Rainer, ?7 vous est-il
possible de déplacer votre réunion de
lundi ? ?8 R  oui, pas de problème ?9
déplacez-moi pour le lendemain, même
lieu ?10 M  merci, je réserve votre salle pour
le lendemain, mardi. Ce sera toujours la
salle Bleue à 11h. ?11 M  ltrappelle le
Demandeurgt allô ? Madame Rainer accepte de
reporter sa réunion. Je peux vous réserver
la salle Bleue pour lundi à 10h. ?12, ?13
Cela vous convient ? ?14
 
31
(No Transcript)
32
(No Transcript)
33
?1
Arrière-plan
T1
topique
SDRS 1
?2
Q-Elab
QAP
T2
?5
topique
?3
QAP
?4
34
(No Transcript)
35
(No Transcript)
36
?7
Arrière-plan
T3
topique
SDRS 2
?8
R-Elab
QAP
T4
?9
topique
?10
RAP
?11
37
SDRS 3
38
(No Transcript)
39
Exemple de dialogue (sans SDRS) U Allô, ici
Olivier Causse M Bonjour monsieur le chef de
projet, je vous écoute U Je voudrais réserver
une salle M Pour quelle date sil vous plaît
? U Quelles sont les possibilités M Avez-vous
une préférence de salle ? U Non mais il me faut
une salle de 2O personnes M La salle Lafayette
est libre jeudi et vendredi U Daccord et
prévenez les membres du projet PVE M Voilà la
salle est réservée. Je préviens les membres du
projet PVE par e-mail ? U Oui, sauf Luc
Rodet. M Voilà les messages sont partis avec un
texte de convocation standard. U Très bien. Au
revoir M Au revoir.
40
Exemple de fonctionnement (1)
Historique-session vide U0 allô, ici Olivier
Causse Rgtgt allô ici Olivier Causse Cgtgt
Phatique, Verbe(être), Modalité(présentation),
Agent(Olivier-Causse) Igtgt FSUU
personne, Id(Olivier-Causse) Dgtgt ontologie
/ouverture Dgtgt ?b0 ?U  rôle(U), stratégie
?directif D-gtTgtgt Identifier (Personne 
Id(Olivier-Causse), rôle r) T-gtDgtgt r
chef-projet Dgtgt b0 D-gtGgtgt FSM(b0), RUM
hiérarchique, df 4 phatique(rôle)relance Ggtgt
M0 bonjour M. le chef de projet. Je vous
écoute Historique-discours FSUU
chef-projet(U) (on sort de léchange
douverture)
 
 
41
(2)
U1 je voudrais réserver une salle Rgtgt je
voudrais réserver une salle Cgtgt
Verbe(réserver), Modalité(intention),
Objet(salle), Qté(un), Agent(je) Igtgt FFUx1,
y1  agent(x1), salle-de-réunion(y1),
réserver(x1,y1) Igtgt résolution x1U Dgtgt
ontologie /demande de service Dgtgt b0, ?b1
?y1 réservé(y1), stratégie
?coopératif D-gtTgtgt Réserver (personne  U,
salle  y1, date  0) T-gtDgtgt incomplet(date) Dgtgt
?b2 ?t2 date(t2) D-gtIgtgt résolution
t2 I-gtDgtgt t2 sous-spécifié Dgtgt FFSM(b2)
demander(date) Ggtgt M1 pour quelle date SVP
? Historique-but b0 Historique-discours
FFUx1, y1  agent(x1), salle-de-réunion(y1),
réserver(x1,y1) ? FFSMt2 date(t2)
 
 
42
(3)

• U2 quelles sont les possibilités ?
• Rgtgt quelles sont les possibilités
• Cgtgt Verbe(être), Modalité(question),
  Objet(possibilités), Dét(les)
• Igtgt FFSUt2  date(t2)
• Dgtgt ontologie /demande de service/termes
• Dgtgt -b2, ?b1 ?y1 réservé(y1), stratégie
  ?coopératif
• Tgtgt Réserver (personne  U, salle  y1, date 
  t2)
• Tgtgt incomplet(salle)
• Dgtgt ?b3 ?y2 salle(y2)
• D-gtIgtgt résolution y2
• I-gtDgtgt y2 sous-spécifié
• Dgtgt FFSM(b3) demander(salle)
• GgtgtM2 avez-vous une préférence de salle ?
• Historique-discours FFUx1, y1  agent(x1),
  salle-de-réunion(y1), réserver(x1,y1) ? FFSMt2
  date(t2) ? FFSMy2 y2 y1, salle(y2)

 
 
43
(4)
U3 non, mais il me faut une salle de 20
personnes Rgtgt non mais il me faut une salle de
20 personnes Cgtgt Négation, Restriction(mais),
Verbe(falloir), Objet(salle), Qté(un), Cat(20
personnes) Igtgt FSUy2  salle(y2),
prop_petite(y2) Dgtgt ontologie /demande de
service/termes Dgtgt b3 y2 salle(y2),
prop_petite(y2) Dgtgt stratégie
?coopératif D-gtTgtgt Sélectionner (salle  y2,
taille lt 20) T-gtDgtgt salle Id(Lafayette) Dgtgt
b3, b2 Tgtgt Consulter_agenda (salleId(Lafayette)
, datet2) Tgtgt t2 jeudi ? vendredi Dgtgt
b2 Dgtgt FSM(b3) ? FSM(b2) asserter(disponible(sa
lle), date) Ggtgt M3 la salle Lafayette est
libre jeudi et vendredi Historique-but b0,
b3 Historique-discours FFUx1, y1, t2  y1
Lafayette, t2 jeudi ? vendredi, agent(x1),
salle-de-réunion(y1), réserver(x1,y1), date(t2)
 
 
44
U4 daccord et prévenez les membres du projet
PVE Rgtgt daccord et prévenez les membres du
projet PVE Cgtgt Confirm, Coord(et),
Verbe(prévenir), Modalité(impératif),
Patient(membres), Qté(les), Cat(projet-PVE)
Igtgt FFUb1 ? FFUx3  membres-PVE(x3),
envoi-message(M, x3) Dgtgt ontologie
/conclusion service/acceptation Dgtgt b2, b1,
stratégie ?réactif Tgtgt Réserver (personne  U,
salle  Id(Lafayette), date  jeudi) Dgtgt b1,
?b4?x3  membres-PVE(x3), message(M, x3) Tgtgt
EnvoiMessagebut b1, auteur U, dest
membres-PVE, mode0 Tgtgt incomplet(mode) Dgtgt
-b4, ?b5?y3 mode(y3) Dgtgt FSM( b1) ?
FFSM(b5) confirmer(salle)demander(mode) Ggtgt
M4 Voilà la salle est réservée. Je préviens les
membres de PVE par e-mail ? Historique-but
b0, b3, b2, b1 Historique-discours FFU
x3  membres-PVE(x3), envoi-message(M, x3) ?
FFSMy3 mode(y3)
(5)
 
 
45
(6)
U5 oui, sauf Luc Rodet Rgtgt oui sauf Luc
Rodet Cgtgt Confirm, Restriction(sauf),
Patient(Luc-Rodet) Igtgt FFUb5 ? FSUb4 Dgtgt
ontologie /offre de service/ Dgtgt b5,
b4x3  x3 membres(PVE-LR), message(x3) Dgtgt
stratégie ?réactif Tgtgt EnvoiMessagebut b1,
auteur U, dest membres, modee-mail Dgtgt
b4 Dgtgt FSM(b4) confirmer(envoi-message) Ggtgt
M5 voilà les messages sont partis avec un texte
de convocation standard. Historique-but b0,
b3, b2, b1, b5, b4 Historique-discours
FFU x3  membresPVE-LR(x3), envoi-message(x3),
mode(y3)
 
 
46
(7)
U6 très bien, au revoir. Rgtgt très bien au
revoir Cgtgt Confirmation, phatique Igtgt FSUb6
? FFUclôture Dgtgt ontologie /clôture Dgtgt b6,
stratégie ?réacif D-gtGgtgt FS(phatique) Ggtgt M6
au revoir. Historique-but b0, b3, b2, b1,
b5, b4, b6 Historique-discours
vide Historique-session vide