Projet PADOUE : Bilan Anne 2

1
Projet PADOUE Bilan Année 2
Contribution LIP6
2
Rappels des objectifs

• Validation de larchitecture
• Intégration de LeSelect dans une architecture
  Pair-à-Pair non structurée
• Validation du protocole dorganisation sémantique
  du réseau
• Évaluation des performances pour la localisation
  des données

3
Plan

• A - Évolution des modèles
• Architecture pair-à-pair basée sur la médiation
  de données
• MEnT2
• Organisation logique du réseau par clusterisation
  sémantique
• VENISE
• B - Outils logiciels développés
• Simulateur pair-à-pair simulR
• Analyseur de traces ETNA
• Conclusions Perspectives

4
A - Évolution des modèles

• MEnT2
• Architecture
• Génération du schéma de médiation (Schéma
  thématique)
• Traitement hybride des requêtes
• VENISE
• Rappels
• Évaluation des performances

5
MEnT2 (prononcer comme mantoue)

• Objectif
• Localiser efficacement les données partagées sur
  le réseau 
• Etape 1 créer un schéma de médiation
• Contexte de grande échelle ? pas de schéma
  global
• Réseau pluridisciplinaire ? schéma thématique
  (personnalisé)
• Etape 2 traiter les requêtes de sélection de
  données
• Exploiter informations issues de la construction
  des schémas

6
Architecture générale
Résoudre le problème de répartition grâce au
pair-à-pair (Echange puis intégration des schémas
publiés)
Résoudre partiellement le problème
dhétérogénéité grâce aux normes de publication
(Ecriture des Wrappers de LeSelect)
7
Phase 1 Intégration Statique

• Génération des Wrappers

8
Phase 2 médiation dynamique

• Collecte des schémas publiés

9
Phase 2 médiation dynamique

• Unification des schémas collectés

10
Génération des schémas thématiques
Schémas sources
Schémas publiés
Schémas thématiques
ltpublishedSchema theme"hydrology"
source"//gaya_at_lip6.fr/"
quality5gt ltrelation
name"DYKE"gt ltattribut namelangCd
typestringgt ltdescription
infodocument language/gt lt/attributgt
ltattribut namecountryCd" typestringgt
ltdescription infocountry of publisher/gt
lt/attributgt ltattribut namestatement
typestringgt ltdescription
infolineage statement/gt lt/attributgt
lt/relationgtlt/publishedSchemagt
Dikes (language, country,
statement).
ltthematicSchema theme"hydrology"
freshness 1106129611224 gt ltrelation
name"DYKE"gt ltattribut namelangCd
typestringgt ltdescription infodocument
language/gt lt/attributgt ltattribut
namecountryCd" typestringgt ltdescription
infocountry of publisher/gt lt/attributgt
ltattribut namestatement typestringgt
ltdescription infolineage statement/gt
ltsource uri"//x_at_firmeA.fr/"/gt ltsource
uri"//y_at_firmeB.fr/"
as"lineage_stt"/gt lt/attributgt ltattribut
nameftName typestringgt
ltdescription infoformat name/gt
ltsource uri"//z_at_firmeD.fr/"/gt lt/attributgt
lt/relationgtlt/thematicSchemagt
1ière phase de médiation
2ième phase de médiation
ltpublishedSchema theme"hydrology"
source"//gaya_at_lip6.fr/"
quality5gt ltrelation
name"DYKE"gt ltattribut namelangCd
typestringgt ltdescription
infodocument language/gt lt/attributgt
ltattribut namecountryCd" typestringgt
ltdescription infocountry of publisher/gt
lt/attributgt ltattribut nameftName
typestringgt ltdescription infoName
format/gt lt/attributgt
lt/relationgtlt/publishedSchemagt
Dike_Element (lgDoc,
countrydoc, formatName)
11
Traitement hybride des requêtes
ltthematicSchema theme"hydrology"
freshness 1106129611224 gt ltrelation
name"DYKE"gt ltattribut namelangCd
typestringgt ltdescription infodocument
language/gt lt/attributgt ltattribut
namecountryCd" typestringgt ltdescription
infocountry of publisher/gt lt/attributgt
ltattribut namestatement typestringgt
ltdescription infolineage statement/gt
ltsource uri"//x_at_firmeA.fr/"/gt ltsource
uri"//y_at_firmeB.fr/"
as"lineage_stt"/gt lt/attributgt ltattribut
nameftName typestringgt
ltdescription infoformat name/gt
ltsource uri"//z_at_firmeD.fr/"/gt lt/attributgt
lt/relationgtlt/thematicSchemagt
Q1 SELECT FROM /hydrology/DIKE WHERE
langCdfr" Q2 SELECT FROM
/hydrology/DIKE WHERE ftName002"
12
Perspectives

• Pour gagner en généricité
• Proposer une extension pour XSchema
• Ajouter méta-information sur le schéma
• Thème
• Fraîcheur
• lorigine des éléments
• Pour le passage à léchelle de loptimiseur de
  LeSelect
• Générer méta-informations sur le réseau
• Quantifier la pertinence des sources en fonction
  du nombre de tuples stockés

13
VENISE

• Objectif
• Améliorer le processus de propagation des
  requêtes en terme de recouvrement du réseau
• Interroger tous les nuds pertinents avec le
  moins de rebonds possibles
• Idées principales
• Tenir compte du contenu sémantique des nuds
  (thèmes) lors de leur insertion dans le réseau
• Protocole dinsertion des nuds dans le réseau
  permettant de choisir leur voisinage logique
  parmi les nuds les plus pertinents par rapport à
  leur sémantique
• Processus de classification non supervisée des
  nuds entrants dans le réseau Réseau de neurones
  selon le principe des cartes auto-organisatrices
  de Kohonen

14
Protocole dinsertion
Node Insertion Service
New Node
Physical network
15
Exemples de Résultats
16
Perspectives

• Pour contourner laspect centralisé du service
  web
• Distribuer le réseau de neurones sur les nuds
• Améliorer linteraction entre les nuds
• Tenir compte de la distance physique entre les
  noeuds

17
B - Outils logiciels développés

• Simulateur pair-à-pair simulR
• Analyseur de traces ETNA

18
Simulateur simulR

• Caractéristiques principales
• Simulateur réparti de systèmes pair-à-pair
• Communication par propagation des messages (pr.
  UDP)
• Accès aux données interfacé par LeSelect.
• Objectifs
• Simuler de manière réaliste les interactions
  P2P/Médiateur
• Comparaison de topologies
• Rejouer un ensemble de requêtes sur des
  topologies différentes (aléatoires,
  clusterisées,)
• Évaluation du processus de propagation des
  requêtes
• En temps et nombre de rebonds pour couvrir les
  nuds pertinents

19
Principe (1)
Nud logique N
Nud logique N2
Nud logique N1
theme
communautés
M
Voisinage
N2, N3,
LeSelectN1
W
W
W
theme
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 .
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 .
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 .
theme
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 .
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 .
theme
1 1 1 1 1 2 2 2 2 2 3 3 3 3 3 .
20
Principe (2)
Q
Q
Q
Q
21
Principe
22
Architecture du simulateur
23
Analyseur de traces ETNA

• Caractéristiques Principales
• Interface graphique pour lanalyse
  comportementale dun réseau P2P
• Parse les traces de SimulR (SAX)
• API JAVA Graphic et JFreeChart
• Objectif
• visualisation des traces de simulation de simulR
• Rejouer des simulations
• Analyses des performances

24
Exemple de trace
lt?xml version"1.0"?gt ltsimulation
name"MENT2"gt ltparametersgt ltparam
name"NO_PHYSICAL_NODES" value"5"/gt ltparam
name"NO_NEIGHBORS_BY_NODE" value"3"/gt ltparam
name"NO_LOGICAL_NODES" value"10"/gt ltparam
name"NO_NORM_ATT" value"3"/gt ... lt/parametersgt
ltnetworkgt ltnode id"N1" ip"gaya" port"5500"
cluster"C0"gt ltneighborsgt ltneighbor
id"N3" ip"solstice" port"5500" /gt
ltneighbor id"N4" ip"zoe" port"5500" /gt
ltneighbor id"N8" ip"why" port"5500" /gt
lt/neighborsgt ltschema theme"th0" gt
ltattribut name"th0att0" type"string"/gt
ltattribut name"th0att1" type"string"/gt
ltattribut name"th0att2" type"string"/gt
ltattribut name"th0att15" type"string"/gt
ltattribut name"th0att20" type"string"/gt
ltdata filename"N1/source_th0.txt" start"0"
end"29" separator"," /gt lt/schemagt
ltcommunitiesgt ltcommunity name"com_0-0th0"
noqueries"1" latency"5"gt lttheme
name"th0" index"82" /gt lt/communitygt
lt/communitiesgt lt/nodegt .... lt/networkgt ltservicegt lt
grid width"2" nothemes"8" gt ltcluster
suffixe"0" weights"78.96,7.66,1.03,0.44,0.38,0.7
5,0.59,10.15"/gt ltcluster suffixe"2"
weights"1.75,0.89,0.97,8.93,8.56,52.95,13.19,12.7
2"/gt ltcluster suffixe"1" weights"1.14,35.71,4
3.03,10.28,8.12,0.76,0.6,0.33"/gt ltcluster
suffixe"3" weights"3.22,1.72,1.76,0.98,0.84,1.67
,76.73,13.05"/gt lt/gridgt lt/servicegt
lttracesgt ltPTH id"N11" path"(N8,why)(N1,gaya)"
/gt ltPTH id"N11" path"(N4,zoe)(N1,gaya)"/gt ltSC
H id"N11" src"N1" th"th0" h"0" t"336"gt
ltatts list"th0att0,th0att1,th0att2,th0att15,th0at
t20"/gt lt/SCHgt ltPTH id"N11" path"(N10,crocodile)
(N3,solstice)(N1,gaya)"/gt ltPTH id"N11"
path"(N5,gaya)(N2,crocodile)(N3,solstice)(N1,g
aya)"/gt ltPTH id"N11" path"(N7,zoe)(N3,solstic
e)(N1,gaya)"/gt ltPTH id"N11"
path"(N8,why)(N1,gaya)"/gt ltPTH id"N11"
path"(N6,solstice)(N5,gaya)(N2,crocodile)(N3,s
olstice)(N1,gaya)"/gt ltSCH id"N11" src"N6"
th"th0" h"4" t"1431"gt ltatts
list"th0att0,th0att1,th0att2,th0att14,th0att20"/gt
lt/SCHgt ltSCH id"N11" src"N9" th"th0" h"4"
t"1559"gt ltatts list"th0att0,th0att1,th0att2,t
h0att12,th0att19"/gt lt/SCHgt ltPTH id"N11"
path"(N6,solstice)(N5,gaya)(N2,crocodile)(N3,s
olstice)(N1,gaya)"/gt ltPTH id"N11"
path"(N9,why)(N5,gaya)(N2,crocodile)(N3,solsti
ce)(N1,gaya)"/gt ltPTH id"N11001"
path"(N8,why)(N1,gaya)"/gt ltPTH id"N11001"
path"(N4,zoe)(N1,gaya)"/gt ltPTH id"N11001"
path"(N2,crocodile)(N3,solstice)(N1,gaya)"/gt lt
PTH id"N11001" path"(N7,zoe)(N3,solstice)(N1,
gaya)"/gt ltPTH id"N11001" path"(N5,gaya)(N10,c
rocodile)(N3,solstice)(N1,gaya)"/gt ltPTH
id"N11001" path"(N6,solstice)(N5,gaya)(N10,cr
ocodile)(N3,solstice)(N1,gaya)"/gt ltPTH
id"N11001" path"(N9,why)(N5,gaya)(N10,crocodi
le)(N3,solstice)(N1,gaya)"/gt ltRES id"N11001"
src"N9" th"th0" h"4" t"1091" w"th0att0'75'
OR th0att19'52'"gt ltresult tuple"th0att075,th
0att175,th0att275,th0att1275,th0att1975"/gt lt/R
ESgt lt/tracesgt lt/simulationgt
Paramètres de configuration
Description des nuds du réseau
Propagation des message et résultats
Etat du servide VENISE
25
Visualisation du réseau
26
Vision clusterisée du réseau
27
Rejouer les requêtes
28
Conclusion et perspectives

• Contributions
• LeSelect est maintenant intégré dans
  larchitecture P2P
• Proposition permettant le partage de schémas
• Processus adaptatif de traitement des requêtes
  exploitant au mieux P2P et Médiateur
• Organisation sémantique du réseau pour améliorer
  les interactions entre les nuds du réseau
• Perspectives
• Améliorer la généricité du schéma thématique
• Fournir à LeSelect toute la méta-information
  nécessaire à son optimiseur
• Décentraliser le classifieur sémantique (VENISE)
• Intégrer MD Web dans larchitecture

29
Pistes de réflexion

• Intégrer MDweb dans la couche de publication de
  larchitecture

MD WEB