Michel Crampes

1
Auto-Composition Active et émergence du sens dans
l interaction Homme-Machine sous
contrainteCompléments Environnements
d Apprentissage
Conférence invitée Paris, Octobre 2002

• Michel Crampes

18/10/2002
2
Domaines dapplication de lémergence du sens
dans les EIAO

• Construction de cursus (cohérence, valeur
  pédagogique)
• Entendement de lapprenant (interprétation
  /parti-pris
• Composition dune présentation à lécran
• Analogies (recherche)
• Pertinence (optimisation)

3
Auto-Composition Active et émergence du sens dans
l interaction Homme-Machine sous
contrainteRévision présentation EIAO
(Candidature pour lHabilitation à Diriger des
Recherches Spécialité Informatique Université de
Montpellier II)

• Michel Crampes

Octobre 2002
4
Moteur de recherche
5
Compositeur
6
La composition fait sens
Marie tue Arthur. Marie prend sa voiture. Marie
roule vite.
Compositeur
7
La contrainte influe sur le sens
Marie tue Arthur. Marie roule vite.
Compositeur
8
Auto-Composition Active (ACA) et émergence du
sens dans linteraction Homme-Machine sous
contrainteSpécificité EIAO
 Les mots diversement rangés font un divers
sens, et les sens diversement rangés font divers
effets  Pascal, Pensées.
9
Plan

• Introduction
• Projets
• Fonctions
• Architectures
• Formalisation
• Conclusion légitimité de la démarche
• Conclusion légitimité du domaine

10
Introduction
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine
11

• Historique Savoir faire en Méthodologie et
  conduite de projet
• complexe
• évolutif
• personnalisé
• volumineux
• contextualisé

2TI Initiative mixte composition filtrer,
personnaliser, optimiser
IMC dialogues
MéthodMan
JACsimulateur
IMC cursus opt.
Transfert de technologie. Publications (1988...
récentes)
12
Historique EMA CDQualité, CD Pesage

• contextualiser
• personnaliser,
• optimiser la connaissance.

Appenant
Diffusion publications
13
Historique
1981 SYSECA
1991 EMA
SupervisionTR, ATC, C3I, ...
Tutoriels Intelligents (TI) MultiMédia Jac,
MethodMan, CDQualité, CDPesage
Auto-Composition Active (ACA) Godart, Godart2,
ACHI, Karina, AMEBICA, PROMPTER
Objectifs réduction des coûts gestion de la
complexité personnalisation
14
Méthodologie Des Tutoriels Intelligents à
lAuto-Composition généralisée
Godart, Godart2, ACHI, Karina, AMEBICA,
PROMPTER,ActiveNets
15
Types de composition
16
La composition quelques définitions
 Action ou manière de former un tout en
assemblant différentes parties .   Loi de
composition interne  (algèbre).  Proportion
des éléments qui entrent dans une combinaison
chimique  (alchimie?).  Accommoder, amener à
transiger  (compromis).
Petit Larousse
17
Documents Auto-Composés principe
Modèle de lutilisateur
BDI
Process
18
Documents Auto-Composés principe
Christophe Vaudry thèse 2002
19
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine

• Projets
• (exemples dACA)

20
L Auto-Composition Active spatiale (2)
Interface multimédia de supervision industrielle

• AMEBICA 1998-2001
• Réseau électrique de Milan
• Centrale thermique en Espagne

Projet CE ESPRIT
21
LAuto-Composition Active narrative
Programmes radio-TV personnalisés



Godart2 1998-1999

• Ontologies
• DTD,XML

en cours PROMPTER (CNC, Netia, ActiMédia)
22
LAuto-Composition Active logique (TI)
Sibyl, Karina 1997-2000
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Besoins  Objectifs Niveaux Durée
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf
Doc HTML aazertiojptajiiopjinjklklkjfdqauerioujjlq
jkjmdf

• Ontologies
• DTD,XML

Projet Autoroutes de linformation
23
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine Remerciements
Fonctions de l ACA
24
Fonctions essentielles

• Indexation - segmentation - représentation du
  contenu (ontologies) - méthode/outil
• Modèle de lutilisateur (représentation/extractio
  n)
• Algorithmes de sélection
• Stratégies de composition

25
Représentation du contenu
1994 Graphes Conceptuels Sowa
Mots-clés lt ??? lt LN
Proche de RDF et N3 (semantic Web) Berners-Lee,
Lassila, Decker, Sintek,
simplification/simplisme ?
26
Travaux sur les Ontologies
Représentation à laide dune DTD, puis en DAML
27
Représentation dune ontologie (DTD Karina)
DTD Document Type Declaration W3C2000
lt!ELEMENT ontologie (noeud, relation) gt
lt!ATTLIST ontologie nom CDATA REQUIRED gt
lt!ELEMENT noeud (noeud) gt
lt!ATTLIST noeud nom CDATA REQUIRED gt
lt!ELEMENT relation
EMPTY gt lt!ATTLIST relation nom CDATA
REQUIRED gt lt!ATTLIST relation source
CDATA REQUIRED gt lt!ATTLIST relation
destination CDATA REQUIRED gt
hiérarchie
Proche de RDF
maintenant DAMLOIL
Publication STE 1999
28
Modèle de lutilisateur

• Quoi
• Contenu CSV
• Intention
• Contrainte (Durée)
• Contexte

Godart2

• Acquisition
• Interactions directes
• Apprentissage
• Apprentissage social ?

Karina
ACHI
29
Algorithmes de sélection des ressources
Proximité sémantique ressource/requête P X
(CSVs , CSVu) k Si Sj ri,1 rj,2 Y(CGi,1,
CGj,2) P cosinus communauté IR Salton,
Kantor, conceptuel Y(CGi,1, CGj,2)
opérateurs sur les triplets/ontologies DL97
Robertson 2000
30
Préférence d une ressource
ressource
parti pris u
X (CSVs , CSVu)
préférence
pertinence
Godart2
31
Compromis de sélection des ressources
ressource
parti pris u
contexte
CSVs
CSVu
CSVu
X (CSVs , CSVu)
X (CSVs , CSVc)
prep
pref
Godart, ACHI
32
Sélection pédagogique de ressource
ressource
acquis u
objectif
CSVs
CSVr
CSVu
CSVo
CSVs CSVu
X (CSVs , CSVc)
prep
acquis
objectif prérequis - acquis
Karina STE, AIED,
33
Algorithmes dassemblage

• Optimisation de la satisfaction sous
  contrainte
• Problème NPdifficile
• Lemoisson (IHM Sannella et al., INRIA)
• Heuristiques
• - Glouton (poids P/L) Godart2, Karina
• - Négociation dagents Godart, AMEBICA
• Simplification/complexification
• Stratégies de composition

34
Stratégies de composition

• Relations explicites (liens physiques)
• Chronologie (sport, musique)
• Relations implicites (conceptuelles) -
  Directes (via la DTD)lt!ELEMENT
  description_conceptuelle (phrase_kldp)gt,
• lt!ELEMENT relation_conceptuelle (phrase_kldp)gt,
• lt!ELEMENT pre_requis (phrase_kldp)gt,
• - Indirectes (basée sur une ontologie)
• Structures rhétoriques
• - ontologie pédagogique Ranwez 2000
• - ontologie narrative (en cours formes
  structurelles)
• - ontologie narrative spécifique (radio)
• Convention de composition

Extrait DTD Karina
35
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine Remerciements
Architectures ACA Agents
36
Patron d ACA
37
Modèle Générique appliqué à la composition de
cursus pédagogiques adaptatifs
38
Composition spatiale (agents)
Godart, ACHI
39
Composition spatiale (agents)
AMEBICA
40
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine
Formalisation Buts 1) Ce que composer veut
dire 2) Optimiser
41
Formalisation définitions

• Univers de Référence Ur  ui
• faits, objets, idées, relations,
• (subject dans la communauté Topic Maps)
• Observateur  Obs
• porte des jugements et interpréte lunivers Ur.
• Ressources E ei
• une entité porteuse dinformation (mots ou
  phrases, symboles, images fixes, sons, segments
  vidéo, etc. qui parlent de Ur )
• identifiable à une URI précise
• composable
• (adressable information resource Topic Maps)

42
Formalisation Définitions
Expression dune ressource Eion (e, Obs) ((u1
, r1), ..., (un , rn)) , uj ? Ur , rj ? Rr
Parti pris d un observateur PPObs ((u1 , v1)
, ... , (ui, vi)) , ui ? Ur , vi ? V
43
Formalisation Qualification
44
Formalisation Ontologies
Or est une ontologie de description de Ur
Exemples Godart Graphes Conceptuels
Godart2, ACHI CSV triplets
sujet-verbe-objet Crampes 97 Karina DTD
pour les CSV Prompter triplets en DAML
(ontoedit) AMEBICA UML et frames
45
Outil daide à l indexation / ontologies

Ecran Karina
46
Formalisation Pertinence d une ressource
Pertinence Pce (QPP (Obs) , Q (e)) Scalq (q1,
q2) ? ? Seuil de pertinence  perts ? ? limite
le nombre de ressources prises en compte pour la
composition.
47
Formalisation Univers de Composition

• Univers de composition 
• Uc lt C , M , S , ? , ? gt où
• C ci , composantes modale,
• M mi , modes   instances canaux K
  ki .
• S sj , relations entre les modalités et/ou
  les canaux.
• ? ?i , contraintes.
• ? ?i , comportements associés aux modes.

Indépendant du contenu
48
Formalisation Univers de Composition
Exemples dUc Godart2
Karina AMEBICA
49
Formalisation Autonomie

• Auto-Activation dun canal
• déclenchement autonome dun comportement dans le
  but de
• rétablir une contrainte
• optimiser lexpression de la composition
• EIAO Reformuler, compléter, corriger,
  conseiller

50
Formalisation Composition
Enoncé élémentaire e ? E , Nél (e) (e , k),
k ? Kc Enoncé multiple Nple(?e , ?c) ? ?e x
?c avec ?c ki ? K, ?e ei ? E
51
Formalisation Sémantique énonciative
Expression dun énoncé élémentaire  Kion(e , k)
Eion(e) ? vk Le canal exprime le contenu de
la ressource quil énonce ! Le canal corrige
(?) le contenu de la ressource ! Exemple
 Woody Allen parle à droite (le canal est à
droite) Conséquence la cohérence de
l énonciation suppose sa stabilité
52
Formalisation Convention de Composition
Convention de composition  ?  canaux,
relations ? Uc entités, relations ? Ur
Exemples de conventions de composition k1 à
gauche de k2 a dans k1 antérieur dans
Ur à b dans k2 k1 à côté de k2
Pivot parle à côté de Allen écoute
53
Formalisation Convention de Composition
Soit Oc qui décrit Uc Spécification dune
Convention de Composition (CC) Ocr  Oc Or
54
Formalisation Sémantique dune composition
? ( ( e1 , k1), ( e2 , k2) , sc ( k1 , k2)
) Expression première dune composition Spre
(?) (Eion(e1) ? v1 ) ? (Eion(e2) ? v2 ) Exemple
Pivot parle , Allen écoute  Expression
secondaire limitée  Ssec (?) sc (Foc (e1) ,
Foc (e2)) sc (û1 , û2) Exemple Pivot à
gauche de Allen
55
Formalisation Sémantique dune composition
Interprétation dune composition ? (?) ? (sc
(Foc (e1) , Foc (e2)) ) sr (û1 , û2) Exemple
Pivot parle à gauche de Allen
Une composition est une ressource (éphémère)
56
Formalisation Emergence du sens

• L interprétation d une composition est une
  forme danalogie
• Analogie de composition
• c-analogie
• phorec sc (k1 , k2) thèmer sr (û1 , û2)
• Rapprochements méthodologiques
• Bond Graphs (transposition) Dauphin-Tanguy
• Ur1 Uc Ur2 alors Ur1 Ur2
• Raisonnement diagrammatique Glasgow et al.,
  Giavitto
• Uc Ur , Uc espace symbolique
• Métaphore des IHM

57
Formalisation Emergence du sens

• Composition intègre 
• sr , non contradictoire dans Ur
• Exemple
• Nécessité de liens explicites
• dans AMEBICA
• Composition plausible  sr GC dérivable dans Or
• canonical graphs represent everything that is
  conceivable, and schemata represent everything
  that is plausible Sowa 1984
• Exemple

Pivot parle à Allen. Allen écoute
58
Formalisation Création du sens
Composition abstraite  Ur . Composition
originale  (...qui compose dune manière
neuve) intègre, sr non GCdérivable (?) Exemples
Godart, Analyse en composantes
principales Composition en rupture  non intègre

ceci nest pas ne pomme
John Snow (Londres 1854)
BroadStreet
59
Formalisation Création de sens Comment?

• Hypothèse Par effets de bord
• ?etend  (?) (... , sr (u1i, u2j), ...)
• Exemples
• Epidémiologie (Snow 1854)
• Gavin et al. 2002 group, suggesting
• that sharing of components reflects
• functional relationships

Autres hypothèses...
60
Formalisation Valeur d une composition
CompositionConforme (ou stéréotypée) Valeur
(?) Pce (?, Obs) Eion(?i) ? PPObs
CompositionCréative Valeur (?) Pce (?, Obs)
Eion(?i) ? ??? Le parti pris nest pas dominant
dans la pertinence dune CompositionCréative Comp
osition Pédagogique PP objectifs
pédagogiques Pce (?, App) (Eion(?i) ? PPObs ) ?
progression pédagogique
61
Formalisation Valeur d une composition
expression
parti pris
pertinence
utilité
contexte
coût
Thèse Vaudry
Réseaux Bayésiens Pearl, Horvitz ?
62
Formalisation Composition et complexité

• Composition optimale Optimisation combinatoire
• S ensemble des compositions ? 
• f fonction Pce pour Obs fixé
• X ensemble X? ! ? des compositions intègres

Pour une CompositionConforme Rechercher ?, 
Pce (?, Obs) max Pce (?i , Obs) ?
63
Formalisation Composition et complexité
Résolution

• Complexité
• Variable selon les contextes, NPdifficile en
  général
• Résolution
• Centralisée Godart2, Karina, PROMPTER
  (glouton)
• Agents (? petit) Godart, AMEBICA

64
Formalisation Conclusion sur les algorithmes
dAuto-Composition  

• Spécificité relative pour chaque domaine.
• Efficacité en question
• Conséquence 
• Recherche dun principe générique
  dauto-composition active

65
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine Remerciements
Meta-heuristique d ACA
ActiveNets
Justification algorithmes génétiques réseaux de
neurones
66
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine Remerciements
Conclusion Légitimité de la démarche
67
Démarche
Domaine 1
Domaine n
...
Transversalité
Modèles Fonctions Algorithmes
Buts transversalité, complétude, généricité
68
Conséquence Explorations

• HyperTextes, Hypermedia Parunak, Nielsen,
  Nanard, Brusilovsky, Allan,
• Tutoriels Intelligents Brown, Clancey, Cleary,
  Ogata-Yano, Vivet, Eklund,
• IHM (IUI, plastiques) Rumelhart, Pearl, Lenat,
  Allen,
• Indexation/ Information Retrieval Salton,
  Zobel, Kantor, Hofman, ...
• Semantic Web/Ontologies Bray, Berners-Lee,
  Gruber, Guarino, Fikes, ...
• User modeling Baldwin, Ardissono, Manber,
  Cotter, Cohen, Di Lascio,
• Objets/agents Goldberg, Gamma, Shoham, Ferber,
  Maes, Lieberman, Bonabeau,
• Actes de L./Rhétorique Searle, Grice, Austin,
  Perelman, Brassac...
• Complexité Garey-Johnson, Hakkoymaz, Stogatz,
  Moles, Vasquez, Hao-Habib,
• Graphes/Bio Eades, Di Battista, Frick,/Albert
  et al., Garnier, Eisenhaber, Dill,
• ...

Difficulté multiplicité des domaines
69
Introduction Projets Fonctions Architectures Form
alisation Meta-heuristique d ACA Conclusion
légitimité de la démarche Conclusion légitimité
du domaine
Conclusion Légitimité du domaine de lACA
70
ACA légitimité du domaine
Spécificité (?)
71
ACA et Documents Virtuels Personnalisables
72
ACA légitimité du domaine (2)
Initiative de la machine et ACA

• Initiative de la Machine e-nitiative
• Initiative de l Utilisateur u-nitiative
• Initiative Mixte x-nitiative
• La Machine produit du sens au travers de lACA

73
Lu-nitiative paradigme dominant

• Lordinateur est bon pour des tâches simples et
  répétitives.
• Lhomme est bon pour des tâches complexes.
• La décision/linitiative appartiennent à lhomme.

• Exemples
• pilotes automatiques davion
• télécommande TV
• interfaces passives
• ...

74
ACA pourquoi

• Surcharge trop dinformations,
• manque de temps
• Manque de compétences, dinformation (EIAO)
• Omission distraction, parti pris déformant
  (risque)

75
ACA enjeu
Maximes de Grice (1975) Quantité  -soyez
aussi informatif que possible -ne soyez pas
plus informatif que nécessaire Qualité  -ne
dites pas ce qui nest pas vrai -ne dites
pas ce que vous ne pouvez pas prouver Relation 
-parlez à propos Manière  -évitez lobscurité
-évitez lambiguïté -soyez bref
-ordonnez votre contribution
thèse Vaudry
76
ACA Les chantiers

• combien de ressources choisir (quantité)
• quelles ressources choisir (qualité)
• le moment de la (re-)composition (relation)
• le choix des canaux et lorganisation (manière)
• quel sens produit

77
Points de vue

• Lordinateur
• machine à calculer
• machine à stocker
• machine à communiquer/diffuser
• complexité, informations, urgence

• Auto-Composition Active pour
• libérer lhomme pour quil gére la complexité,
  lurgence (N1)
• gérer la complexité, le volume, lurgence (N2)
• produire de linformation originale (N3)
• brouiller (risque)
• un média intelligent ?

78
Collaborations/partenaires

• Partenaires industriels SAP, Actimedia, Netia,
  Lorcom, ENEL, ELSAG, Iberdrola,
• Partenaires académiques Lboro, IFE, Labein,
  ENST
• Sponsors MITRE, CNC, Région, ANVAR, CE
• Echanges et encouragements EMA, LIRMM
• Co-auteurs Ranwez, Saussac, Vaudry, Alty,
  Khalil, Holnager, Chanal, Bayard, Gelly, Uny,
  Parodi, ...

79
Dialogue