Syst

1
Systèmes à quorums dynamiques et projet ViSaGe

• Ivan Frain
• Institut de Recherche en Informatique de Toulouse
  (IRIT)

2
Plan

• Cohérence des réplicas et systèmes à quorums
• Problème de la charge des noeuds
• Protocoles de reconfiguration de systèmes à
  quorums
• Un cadre de construction
• Prise en compte de la charge des nœuds de
  stockage
• Prise en compte de la latence réseau
• ViSaGe intergiciel de stockage pour grille
• Architecture logicielle
• Carnet de route
• Conclusion et Perspectives

3
Problème de la cohérence
Règle chacun lit et écrit sa copie locale
Copie de Paul
Paul
Copie de Jeanne
Jeanne
4
Problème de la cohérencePremier exemple de
solution ROWA
Règle chacun lit sa copie locale mais écrit
toutes les copies
Paul
Jeanne
5
Problème de la cohérenceDeuxième exemple de
solution un système à quorums
Règle chacun lit et écrit une majorité de
copies Remarque ajout dun numéro de version
aux copies
Lire
Version
0
1
1
Paul
Lire
Version
0
2
Nicolas
Version
0
1
2
Jeanne
6
Systèmes à quorums définition

• Quorum q - Ensemble minimum de copies impliquées
  dans une opération de lecture ou décriture afin
  que lopération réussisse.
• Coterie C - Ensemble des quorums possibles pour
  un groupe de copies et un protocole donné

• Intersection

• Minimalité

7
Systèmes à quorums coterie en arbre

• Protocole de Agrawal et Abbadi 1

P1

• Nœuds organisés logiquement en arbre
• Quorum un chemin de la racine à une feuille
  P1,P2,P4
• Coterie P1,P2,P4,P1,P2,P5,
  P1,P3,P6,P1,P3,P7

P2
P3
P4
P5
P6
P7

• Sur quel critère construire la coterie ?
• Les solutions existantes latence réseau
• Notre solution charge des noeuds

8
Charge dune coterie définition

• Un nœud possédant une réplique

• Charge dun nœud

• Charge dun Quorum

• Charge dune Coterie

9
Problème
P1
12
P2
P3
50
15
40
P4
P5
P6
P7
9
8
21
23
23
15
50
50
40
40
180
10
Protocoles de reconfiguration de systèmes à
quorums

• Reconfiguration changement de coterie
• But utiliser une coterie mieux adaptée à
  lenvironnement
• Un protocole de reconfiguration
• Quand effectuer une reconfiguration?
• Politique de récupération des informations
• Récupération à la demande
• Récupération périodique
• Politique de déclenchement
• Déclenchement à la demande
• Déclenchement périodique
• Comment effectuer une reconfiguration?
• Politique de reconfiguration

11
Trois protocoles de reconfiguration pour systèmes
à quorums en arbre

• Reconfiguration en fonction de la charge des
  nœuds
• Protocole des permutations élémentaires
• Protocole de permutation globale
• Reconfiguration en fonction de la charge et de la
  latence réseau
• Protocole de permutation hybride

12
Protocole des permutations élémentaires (1/2)

• Politique de reconfiguration
• Permuter deux nœuds parents si le père est plus
  chargé que le fils

13
Protocole des permutations élémentaires (2/2)

• Politique dinformation à la demande
• Un des clients est choisit
• A chacune de ses opérations de lecture ou
  décriture (un quorum)
• Politique de déclenchement à la demande
• Si une permutation élémentaire est possible dans
  le quorum contacté lors dune opération de
  lecture ou décriture
• Problème
• Les nœuds les plus chargés se trouvent dans les
  feuilles

14
Protocole de permutation globale

• Politique de reconfiguration
• agréger les noeuds les plus chargés dans le même
  sous arbre

• Politique dinformation périodique
• Politique de déclenchement périodique

15
Prise en compte de la latence réseauTemps de
réponse dune coterie

• Temps de réponse dun nœud Pj vis-à-vis dun
  autre nœud Pi

• Temps de réponse dun quorum vis-à-vis dun noeud
  Pi

• Temps de réponse dune coterie vis-à-vis dun
  nœud Pi

16
Le problème
P1 P2 P3 P4 P5 P6 P7
80 20 90 40 110 50 30
17
Protocole de permutation hybride

• Politique de reconfiguration
• Permutation globale avec temps de réponse médians

Pj P1 P2 P3 P4 P5 P6 P7
180 120 290 240 310 50 30
80 20 190 140 210 150 130
180 120 90 40 110 250 230
Médiane 180 120 190 140 210 150 130

• Politique dinformation périodique
• Récupération de la latence la première fois
• Récupération des charges les autres fois
• Politique de déclenchement périodique

18
Évaluation des protocoles de reconfiguration

• Algorithme de Shvartsman et Lynch
• Plusieurs lecteurs et plusieurs rédacteurs
• Supporte la reconfiguration dynamique de coterie
• Propriété dintersection entre deux coteries
• Implémentation dans le simulateur Neko de Urban,
  Défago et Schiper
• La grille simulée utilise 7, 15, 31, 63 et 127
  réplicas (nœuds)
• La charge dun nœud névolue pas trop vite
• Les nœuds ne sont pas dédiés au système de
  stockage
• 3 contextes de simulation
• La latence au niveau des serveurs est dominante
  (contexte LS)
• La latence réseau est dominante (contexte LR)
• Les latences serveur et réseau sont équivalentes
  (contexte LEQ)
• Temps de simulation fixe

19
Sans reconfiguration avec 7 noeuds
Contexte LS
Contexte LEQ
Contexte LR
20
Protocole des permutations élémentairesContexte
LS et 7 réplicas
Sans reconfiguration
Protocole des permutations élémentaires
21
Protocole de permutation globaleContexte LS et
31 réplicas
Sans reconfiguration
Protocole de permutation globale Période 200K
22
Protocole de permutation hybrideContexte LEQ et
63 réplicas
Sans reconfiguration
Protocole de permutation hybride Période 200K
23
Synthèse des résultats

• Calcul du débit dopérations (throughput) pour un
  temps de simulation fixé

Contexte Nœuds LS LR LEQ
7 Elem Sans Hybride 100K
15 Elem Sans Hybride 300K
31 Globale 200K Hybride 300K Hybride 100K
63 Sans Hybride 400K Hybride 200K
127 Sans Sans Hybride 300K
24
(No Transcript)
25
Architecture physique dune grille
26
Composants logiciels de ViSaGe
Application
Administration Et Monitoring
Système de gestion de fichiers
Concurrence et Cohérence
Virtualisation
Communication
Fabrique
27
ViSaGe carnet de route
1. Expression des besoins
Aujourdhui
2. Architecture et Design
Prototypage
3.1 Prototypage
Développement
3.2 Développement
4. Gridification
Gridification
5. Tests in situ
Tests
24
17
21
2
4
8
0
février 2005
mars 2007
28
Conclusion

• Protocoles de reconfiguration
• Définition de la charge et du temps de réponse
  dune coterie
• Variation de la charge des nœuds est un problème
• Protocoles de reconfiguration
• Permutations élémentaires
• Permutation globale
• Permutation hybride
• Amélioration du débit dopération sous certaines
  conditions
• Projet ViSaGe
• Proposition dun nouvel intergiciel dédié a
  stockage de données sur grille ViSaGe
• Interface fichier fournissant une certaine
  qualité de service
• Différentes méthodes de gestion de la cohérence

29
Perspectives

• Protocoles de reconfiguration
• Preuve de lalgorithme des permutations globales
• Comparaison avec un plus grand nombre de systèmes
  à quorums grilles, hiérarchique
• Évaluation en environnement réel projet ViSaGe
• Quels sont les critères de charges à prendre en
  compte ?
• Identification de seuils pour effectuer une
  reconfiguration
• Historique de létat des nœuds
• Projet ViSaGe
• Terminer lintégration et les tests ? Mars 2007
• Déploiement et tests sur Grid 5000
• Tester avec dautres applications des
  partenariats?
• ViSaGe comme stockage pour une BD distribuée

30
Références

• Protocoles de reconfiguration
• 1 I. Frain, R. Basmadjian, J-P. Bahsoun and A.
  Mzoughi. How to improve the scalability of
  read/write operations with dynamic
  reconfiguration of a tree-structured coterie. In
  ICPP06 workshops, pages 123-134, August 2006.
• 2 I. Frain, A. Mzoughi and J-P. Bahsoun. How
  to achieve high throughput with dynamic
  tree-structured coterie. In the 5th International
  Symposium on Parallel and Distributed Computing
  (ISPDC06), July 2006.
• Projet ViSaGe
• 3 F.Thiebolt, I.Frain et A. Mzoughi.
  Virtualisation du stockage dans les grilles
  informatiques. Dans les 16ème rencontres
  francophones de parallèlisme, (Renpar05), avril
  2005.
• 4 http//www.irit.fr/visage

31
Opération de lecture ou décriture
32
Opération de reconfiguration
33
Protocole de permutation élémentaire
34
Protocoles de permutation globale et de
permutation hybride
35
Permutation élémentaire éléments de preuve
36
La place de ViSaGe au sein des intergiciels
existants
37
Contexte les grappes de grappes

• Grappe de grappes
• Réplication de données entre sites distants
• Charge des nœuds de stockage et latence réseau

Client
GRILLE (WAN)
S1
S5
S2
S4
S3
38
Composants logiciels de ViSaGe

• ViSaGe est découpé en 5 composants principaux
• vcom un système de communication entre
  composants
• vrt un composant de virtualisation des
  ressources de stockage
• visagefs un système de gestion de fichiers au
  niveau grille
• vccc une librairie de gestion de la concurrence
  des accès et de gestion de la cohérence des
  réplicas
• vam service dadministration et de monitoring
  de ViSaGe
• Un module dadministration
• Un module de monitoring
• Les composants sont déployés à tous les niveaux
  de la grille
• Hôtes frontaux
• Hôtes contrôleurs
• Nœuds de calcul et de stockage

39
Gestion de la cohérence dans ViSaGe le
composant vccc