Calcul Distribus Grande Echelleet application la biophysique molculaire

1
gl
Grand Large (Projet dAction INRIA)

• Calcul Distribués à Grande Echelle et application
  à la biophysique moléculaire
• à partir dXtremWeb
• Franck Cappello
• CR CNRS
• Group Clusters et Grilles
• LRI, Université Paris sud.
• fci_at_lri.fr
• www.lri.fr/fci

2
Sommaire

• Introduction
• Le système XtremWeb I
• Applications XW-Bio (CHARMM), etc.
• Conclusion

3
Différents types de GRID
Caractéristiques des nuds
Grands sites de calcul, Clusters

• lt100
• Stables
• Identification
• individuelle
• Confiance

Les Grilles de calcul ou  GRID 
2 types de grands systèmes distribués
Les systèmes distribués à grande échelle
PC Windows, Linux

• 100 000
• Volatiles
• Pas dident
• individuelle
• Pas de
• confiance

Les systèmes de Calcul Global ou  Desktop
GRID  ou  Internet Computing 
Les systèmes Pair à Pair
 
 
     
4
Calcul Global Desktop GRID
Un serveur centraliser ordonnance des calcul sur
des PC volontaires

• Applications dédiées
• SETI_at_Home, distributed.net,
• Décrypthon
• Projet de production
• Folding_at_home, Genome_at_home,
• Folderol,
• Projet de recherche/open source
• XtremWeb, BOINC,
• Plates-formes commerciales
• Entropia, Parabon,
• United Devices,
• Applications commerciales
• Pharmacologie (très gros mouvements
  associations stratégiques) et autre

Application Cliente Params. /résults.
serveur
Paramètres
Internet
PC Volontaire
PC Volontaire
PC Volontaire Télécharge et exécute lapplication
5
Caractéristiques fondamentales

• Extensibilité jusqu à 100 k, 1 M machines
• Hétérogénéité différents matériels et OS
• Volatilité nombre de clients et de serveurs
  évoluent constamment
• ils ne préviennent pas avant de quitter le
  système.
• ? Seti_at_home, Napster, Kazaa, etc. ont démontré
  lexceptionnelle
• résistance aux défaillances de ces
  systèmes.
• Utilisabilité ? malgré les propriétés
  précédentes, le système doit rester facilement
  programmable et maintenable
• Potentiel de performance exceptionnel Seti_at_home
  30 Tflops,
• Kazaa (1 M utilisateurs à 100kb/s, 1Mb/s ? 100
  Gb/s, 1 Tb/s).
• Sécurité ? le système doit être sécurisé pour
  les participants, les serveurs et
  l applications. Un comportement malicieux ne
  doit pas pouvoir corrompre l application. Un
  agent externe ne doit pas pouvoir se faire passer
  pour un serveur.

6
The Software Infrastructureof SETI_at_home IIBOINC
David P. Anderson Space Sciences Laboratory U.C.
Berkeley
7
Sommaire

• Introduction
• Le système XtremWeb I
• Applications
• Conclusion

8
(XW)
Une plate-forme de rechercher opensource pour
étudier

• Le Calcul Global (extensibilité ,organisation des
  serveur,)
• Le Calcul Pair à Pair (volatilité, communication
  inter noeud, sécurité)
• Fusion des systèmes de Calcul Global et Pair à
  Pair
• ? Plate-forme de Recherche (étudier de nouveaux
  mécanismes)
• ? Plate-forme de Production (identifier les
  problèmes des utilisateurs)

un PC
accepte
PC
Mon PC
Communications Potentielles pour les Applications
parallèles
PC
requête
PC
fournit
PC
PC
SDGE
accepte
PC
résultat
PC
PC
Un autre PC
PC
fournit
Accepte concerne des Calculs ou des données
Les requêtes peuvent être relatives à des données
ou des calculs
9
XW Architecture Générale

• Larchitecture actuelle est centralisée
• Global Computing et Peer to Peer (modèles
  dinteraction)
• 3 entités client/coordinateur/worker

Coordinateur hiérarchique
Coordinateur Peer to Peer
Coordinateur Global Computing (client)
PC Client/worker
Internet ou LAN
PC Worker
PC Worker
PC Client/Worker
10
XW Spécifications de tolérance aux pannes

• Confinement des défaillances (pas de
  contamination)
• La volatilité des entités est une des
  caractéristiques du système
• Protocoles Connectionless
• La rupture de la connexion réseau est un
  événement normal .
• ? Entités restartables
• Avant de démarrer, une entité doit vérifier
  si elle en remplace une autre, elle obtient son
  état précédent en consultant les autres entités
  (Client, Worker) ou à partir dune sauvegarde
  (disque)

11
XW Modèle de tolérance aux pannes

• Modèle de tolérance aux pannes des systèmes
  répartis
• Réplication passive (clients et workers
  sadressent à 1 coordinateur)
• log de message optimiste sender based (une
  entité en interaction directe avec une autre peut
  reconstruirent son état en cas de reprise).

Submit task
Worker1
Client
Get work
Coord.
Sync/Retrieve result
Put result
Sync/Retrieve result
Sync/Get work
Client2
Put result
Worker2
Coord.
Sync/Submit task
Sync/Get work
Sync/Retrieve result
Sync/Put result
12
XW Architecture du Worker
Applications ? Binaire (codes CHP en Fortran ou
C) ? Java (codes récents, codes
objet) Systèmes dexploitation ? Linux, SunOS,
Mac OSX, ? Windows Sécurité ? Confinement
(SBLSM) log des actions ? Authentification
par Certificats cryptage Auto-monitoring ?
Système de prise de traces dactivité
Protocole traverser les pares feux (firewalls)
hostRegister
Worker
Coordinat.
WorkRequest
XML RPC et SSL authentification and cryptage
workResult
workAlive
13
XW Architecture du Client

• Une API Java ? XWRPC
• ? soumission de tâches
• ? collection de résultats
• ? Monitoring/control
• Bindings ?OmniRPC, GridRPC
• Sécurité ? Authentification Certificats
  cryptage log actions
• Applications ?Multi-paramêtres, sac de tâches
• ?Maître-esclave (iteratif), EP

Tolérant à la volatilité des nuds (RPC-V)
Client
Coordinat.
Configure experiment
Worker
Get work
Launch experiment
Put result
Collect result
14
XW Architecture du coordinateur
Data base set
Task selector Priority manager
Tasks
Applications Tasks Results Statistics
Results
Scheduler
Result Collector
Volatility Detect.
Request Collector
Worker Requests
Client Requests
15
XW Software Technologies
Java
Server
Communication
http server
Worker Client
Java
Installation
Installation prerequisites database
(Mysql), web server (apache), PHP, JAVA jdk1.2.
16
Sommaire

• Introduction
• Le système XtremWeb I
• Applications
• Conclusion

17
XW-Bio (CHARMM) Exploration des transitions
conformationnelles de protéines
Institut de Boichimie et de Biophysique
Moléculaire et Cellulaire dOrsay

• Contexte général
• Compréhension/maîtrise des paramètres de
  stabilité et dexpression dactivité dune
  protéine
• à partir de l'analyse des propriétés dynamiques
  de la structure protéique.
• Approche
• Etudier les transitions conformationnelles
  apparaissant à des échelles de temps supérieures
  à celles accessibles par des simulations de
  dynamique moléculaire standard
• développement de nouvelles techniques,
• plates-formes de calculs distribués.
• Applications
• Etudier leffet de différents facteurs tels que
  les mutations, la fixation de ligands, etc.. dans
  différentes protéines.

18
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins
"interesting" conformation (amyloid?)
e.g., normal prion protein

• Molecular Dynamics is great for simulating random
  thermal deformations of a protein...
• but unlikely to reach a particular conformation
  of the protein, even if you really want to
• Vibrational Modes is great for identifying
  preferred deformations towards "interesting"
  conformations
• but strictly applicable to small deformations
  only
• Combined approach we force molecular dynamics to
  explore "interesting" deformations identified by
  vibrational modes

David Perahia and Charles Robert UMR8619
CNRS University of Paris-Sud Orsay France
19
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins

• Multiparameter simulation
• Explore low-energy (favorable) transition
  pathways
• Extend to multiple dimensions (energy surfaces)

energy barrier
4) Calculate free energy profile
etc ...
...
3) Gather statistics
XtremWeb Workers Condor Pools
XtremWeb
2) Perform m constrained molecular dynamics
simulations for each ( nm tasks )
David Perahia and Charles Robert UMR8619
CNRS University of Paris-Sud Orsay France
1) Generate n starting conformations along
coordinate of interest
deformation coordinate
20
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins

• Application
• CHARMM
• Deployment
• Coordinator at LRI
• Madison 700 workers
• Pentium III, Linux
• (500 MHz933 MHz)
• (Condor pool)
• LRI 100 workers
• Pentium III, Athlon, Linux
• (500MHz, 733MHz, 1.5 GHz)
• (Condor pool)

U-psud network
internet
others labs
lri.fr
XW Coordinator
XW Client
21
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins
Temps dexécution à partir du premier retour
(HMS)
014048
LRI
012624
011200
Ref Athlon 1,5 GHz tps exec 434440
005736
Ref.
LRIWisc
004312
8 minutes pour obtenir le 1er
249 tâches terminées correctement
002848
Wisc
001424
Nombre de tâches
1
51
101
151
201
251
301
Speedup LRIWisc 51 (71), time sharing (not
cycle stealing). Speedup LRI 27 (39), time
sharing (not cycle stealing).
22
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins
LRI Wisc (132 Hosts)
Wisc (165 Hosts)
1000
70
60
50
100
Hosts
40
Hosts
30
10
20
10
1
0
Tasks
4
3
2
1
0
Tasks
3
2
1
Distribution des tâches équitable entre les
machines
23
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins
LRI Wisc task execution time histogram
002848
002555
002302
002010
001717
001424
001131
000838
000546
000253
000000
1
15
29
43
57
71
85
99
113
127
141
155
169
183
197
211
225
239
253
267
281
295
309
Trois types de machines 500 MHz, 933 Mhz et 1,5
GHz
24
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins
LRI WISC Puissance CPU instantanée (moyenne/min)
MHz
Warm up
Cool down
120000
100000
80000
60000
40000
20000
0
0
10
20
30
40
50
60
Minutes
25
XW-Bio (CHARMM) Exploration of conformational
transitions in proteins
LRI WISC diagramme de Gantt
Lancement tâche/récupération résultat Début
exécution/fin exécution
Tâches (non triées)
26
XtremWeb User projects

• 1 CGP2P ACI GRID (academic research on Desktop
  Grid systems), France
• Industry research project
  (Airbus Alcatel Space), France
• 3 Augernome XtremWeb (Campus wide Desktop Grid),
  France
• 4 EADS (Airplane Ariane rocket manufacturer),
  France
• 5 University of Geneva, (research on Desktop
  Grid systems), Switzerland
• 6 University of Winsconsin Madisson, CondorXW,
  USA
• 7 University of Gouadeloupe Paster Institute
  Tuberculoses, France
• 8 Mathematics lab University of Paris South (PDE
  solver research) , France
• 9 University of Lille (control language for
  Desktop Grid systems), France
• ENS Lyon research on large scale storage, France
• Actions connexes GRID Explorer, Météo de
  lADSL (la grenouille).

27
XtremWeb en production

• IFP (French Petroleum Institute), potentiel 2000
  PC, France
• Université Paris Sud Wisconsin, potentiel 1500
  PC, International
• 3 Projet Auger, potentiel 5000 PC, international
• 4 Alcatel Space (projet CASPER), potentiel 3000
  PC, France
• Société Act_at_Grid (service autour dXtremWeb)
• Vise le marcher pharmaceutique, pétrolier,
  aéronautique, automobile
• www.actagrid.com (en construction)

28
User feedback

• What we have learned
• Deployment is critical ? difficult issues for
  non specialist
• Users dont understand immediately the
  computational power potential of Desktop Grid
• When they understand, they propose new
  utilization of their applications (similar to the
  transition from sequential to parallel)
• They also rapidly ask for more resources!!!
• Users ask for more programming model paradigms ?
  MPI
• Strong need for tools helping users browsing
  their results

29
Grid Explorer (GdX) A platform for Grid
exploration

• F. Cappello (LRI), O. Richard (ID), Pierre Sens
  (P6)
• An instrument (like for physicists) for exploring
  Grid middlewares, algorithms, performance and
  applications under reproducible experimental
  conditions
• A tool set for emulation/simulation of large
  scale distributed systems
• 1 KCPU clusters configurable network OS
• For Grid, P2P, etc.
• Potentially connected to Grid testbeds

30
Sommaire

• Introduction
• Le système XtremWeb I
• Applications
• Conclusion

31
Conclusion

• XtremWeb Une des plates-formes pour le
  desktop Grid
• ? La gestion des défaillances est fondamentales.
  XtremWeb 1
• Confinement des défaillances connectionless
  restartable
• ? La sécurité est fondamentale certificats
  cryptage sandbox
• What we have learned so far with XtremWeb
• Deployment is critical
• When they understand the computational power
  potential ,
• users rapidly ask for more resources!!!
• Strong need for tools helping users browsing
  their results
• XtremWeb-Bio
• Lintégration de CHARMM dans XW a été triviale,
  (gestion licences ?)
• Construction dune Desktop GRID internationale
• Utilisation de Condor en local, XW comme
  infrastructure globale
• Performances raisonnables (accélération de 60
  avec de nombreuses machines moins performantes
  que la référence)

32
Logiciels

• XtremWeb www.XtremWeb.net
• Opérationel depuis 2001
• Version actuelle 1.1.0
• Démo de XW-Bio demain (Health GRID)

33
Pour en savoir plus

• 1  Calcul Global Pair à Pair extension des
  systèmes Pair à Pair au calcul , lettre de
  lIDRIS, 12 pages, Février 2002. www.lri.fr/fci
• 2 Projet ACI GRID CGP2P, www.lri.fr/fci/CGP2P.h
  tml
• 3 Projet XtremWeb, www.xtremweb.net
• 4 Deuxième Workshop International  Global P2P
  Computing , avec IEEE/ACM CCGRID 2002, Berlin,
  Mai 2002, www.lri.fr/fci/GP2PC.htm
• 5  Peer-to-Peer Computing , D. Barkai, Intel
  press, 2001, Octobre 2001.
• 6  Harnessing the power of disruptive
  technologies, A. Oram éditeur, edition OReilly,
  Mars 2001
• 7  Search in power-law networks , L. A.
  Adamic et al. Physical Review, E Volume 64, 2001
• 8  The Grid  Blueprint for a new Computing
  Infrastructure , I. Foster et C. Kesselman,
  Morgan-Kaufmann, 1998.

34
Sommaire

• Introduction
• Le système XtremWeb I
• Vers un système plus générique XW2
• Un exemple MPICH-V1
• Conclusion

35
Un exemple MPICH-V1
Goal execute existing or new MPI Apps
Problems 1) volatile nodes (any number at any
time) 2) firewalls (PC Grids) 3)
non named receptions (? should be replayed in the
same order as the one of
the previous failed exec.)
Objective summary 1) Automatic fault
tolerance 2) Transparency for the programmer
user 3) Tolerate n faults (n being the MPI
processes) 4) Firewall bypass (tunnel) for cross
domain execution 5) Scalable Infrastructure/proto
cols 6) Avoid global synchronizations
(ckpt/restart) 7) Theoretical verification of
protocols
36
Global architecture

• MPICH-V
• Communications Library a MPICH device with
  Channel Memory
• Run-time execute/manage instances of MPI
  processes on nodes
• ? requires only to re-link the application with
  libmpichv instead of libmpich

5
Channel Memory
Checkpoint server
2
3
Dispatcher
1
Node
Network
4
Node
Firewall
Node
Firewall
37
MPICH-V vs. MPICH-P4 on NAS BT

• 1 CM per MPI process, 1 CS for 4 MPI processes
• 1 checkpoint every 120 seconds on each node
  (Whole)

• MPICH-V Compares
• favorably to MPICH-P4 for all configurations
• on this platform for
• BT class A

The differences for the communication times is
due to the way asynchronous coms. are handled by
each environment.