Diapositive 1

1
Matchmaking Distributed Resource Management for
High Throughput Computing R. Raman M. Livny M.
Solomon University of Wisconsin
Matchmaking Distributed Resource Management for
High Throughput Computing R. Raman M. Livny M.
Solomon University of Wisconsin
Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
2
Introduction

• Auteurs
• Initiateurs du projet Condor en 1988
• Matchmaking, resource management, checkpointing,
  grid computing
• Article
• 7th IEEE International Symposium on High
  Performance Distributed Computing, juillet 1998,
  Chicago
• Système de gestion de ressources distribuées

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
3
Systèmes de gestion de ressources

• Systèmes classiques
• Attribution efficace des ressources aux clients
• Allocation gérée par un scheduler à partir dun
  modèle du système
• Limites
• Valable pour les systèmes à contraintes réduites
• Haute performance en environnement homogène

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
4
Systèmes distribués hétérogènes

• Hétérogénéité
• Physique architecture, OS
• Politique utilisateurs autorisés, horaires de
  disponibilité, temps dinactivité minimal
• Contraintes
• Pas de modèle fixe du système
• Modèle dynamique défini par les propriétaires et
  les clients

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
5
High-throughput computing (HTC)

• Haut débit / haute performance
• Long terme (année) / court terme (seconde)
• Environnement HTC
• Maximiser la quantité de ressources disponibles
• Respecter les besoins et droits des propriétaires
  des ressources

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
6
Condor

• Objectif
• Capacité de traitement sur une longue période de
  temps
• Caractéristiques
• Exploiter efficacement les périodes dinactivité
  des machines
• Environnement de propriété distribuée

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
7
État de lart

• Systèmes de gestion de ressources distribuées
• Mécanismes dallocation des ressources
• NQE, PBS, LSF, LoadLeveler peu dynamique
• Globus peu flexible
• Legion orienté objet

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
8
Matchmaking framework
Le matchmaker exécute lalgorithme dassociation
2
Matchmaker
C
F
C
F
Les entités envoient leurs classads au matchmaker
F
C
C
F
1
1
Le matchmaker notifie deux entités de leur
association
3
3
Client
Fournisseur
C
F
F
C
4
Les deux entités négocient lattribution des
ressources
Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
9
Matchmaking framework

• Composants
• Spécification des classads
• Protocole dannonce
• Algorithme de matchmaking
• Protocole de matchmaking
• Protocole dattribution
• Points forts de lapproche
• Spécification de contraintes sur les clients
• Seulement une introduction mutuelle

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
10
Classified Advertisements (classads)

• Contenu
• Auto descriptif schéma, données, requêtes
• Caractéristiques, besoins, contraintes,
  préférences
• Exemple

Type "Job" Owner "Raman" Memory 31 ...
Constraint other.Type "Machine"
Disk gt 10000 other.Memory gt self.Memory
Type "Machine" Disk 323496 Memory
64 Untrusted "rival","bad" ... Constraint
!member(other.Owner,Untrusted) DayTime lt
86060 DayTime gt 186060
Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
11
Matching / Claiming

• Déroulement
• Association dentités compatibles à partir des
  attributs Constraint et Rank
• Prise de contact, pas de garantie de service
• Avantages de cette séparation
• Vérification avant affectation des ressources
• Modèles spécifiques dattribution des ressources
• Matchmaker stateless

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
12
Déploiement dans Condor

• Mécanisme
• Resource-owner Agent (RA) et Client Agent (CA)
• Envoi périodique de classads au pool manager
• Cycle de négociation du pool manager
• Ticket dautorisation du RA transmis au CA
• Ressource attribuée sous conditions
• Performances
• Aucune mesure !

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
13
Pertinence de larticle

• Besoin
• Puissance de calcul sur la durée
• Respect des politiques de gestion des ressources
• Succès du système réel Condor
• État de lart
• Pas des systèmes de mise en relation
• Dautres besoins que Condor
• Expérimentation
• Pas de preuve des qualités de lapproche

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
14
Points forts

• Clarté
• Pas besoin de connaissance extérieure
• Approche expliquée de façon structurée et simple
• Mise en valeur de lapproche
• Besoin légitime
• Notions de HTC et denvironnement hétérogène
• Application dans un système réel

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
15
Points faibles

• Manque dapprofondissement
• Article accessible mais peu de détails techniques
• Protocoles de communication ?
• Algorithme de matchmaking ?
• Spécifications techniques du matchmaker ?

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation
16
Conclusion

• Un mécanisme de gestion de ressources distribuées
  dynamique, flexible et simple
• Déployé dans le système réel Condor conçu pour le
  haut débit en environnement hétérogène
• Plus une introduction au matchmaking quune
  description technique exhaustive

Introduction
Contexte
Analyse
Conclusion
Approche
Expérimentation