Le Cluster Icare

1
Le Cluster Icare
2
Architecture Globale du cluster
42 serveurs v40z
3
Evolution des moyens
8 procs 2.7 Gflops RAM 5.5 Go Disque 140Go
1995
32 procs 36 Gflops RAM 24 Go Disque 860 Go
2000
2005
120 procs ID 168 procs 624 Gflops
874 Gflops 280 Go 376
Go Disque 4To
4
Le V40Z

• 4 processeurs AMD opteron, 64 bit, 2.6 GHz
• cache L1, sur le chip 64 KB data, 64 KB
  instructions (2-voies assoc., latence 3 cycles)
• cache L2, sur le chip 1 MB data et inst.
  (16-voies associatif, latence 8 cycles)
• 8 ou 16 Go de mémoire
• Disque 146 Go
• 2 unités flottantes, pas de FMA (axb)

5
Le processeur Opteron

• contrôleur mémoire intégré au proc., synchronisé
  sur la vitesse dhorloge
• latence mémoire peu élevée

Architecture Xeon
Suppression Des goulots Détranglement
Architecture Opteron
6
Environnement logiciel

• Système Solaris10, 64 bit
• Environnement de développement SUN Studio11
• Compilateurs C, C, f95 (avec support OpenMP)
• Bibliothèque mathématique PERFLIB
• (blas, lapack, matrices creuses, fft, )
• Multi-threadée
• Outils de profiling, danalyse et de déboguage
  prof, gprof, tcov, collect, analyzer, dbx
• Bibliothèque de passage de messages LAM MPI
• Bibliothèques FFTW V2
• Gestionnaire de batch OAR

7
Espace de stockage

• Sur Icare
• Espaces sécurisés (RAID 5)
• /users 1 To, répertoires home des
  utilisateurs, partagé NFS
• /TMP 2 To, espace temporaire pour les calculs,
  partagé NFS
• Sur les nuds
• /scratch 120 GO, espace local temporaire pour
  les calculs
• gt doit être libéré en fin dexécution

8
Schéma de linterconnection
Icare
icare-adm
Connection extérieure
p11
n11
p12
Réseau dAdministration (NFS, )
n12
Réseau MPI

• p51

n51
p52
n52
9
Utilisation du cluster

• Connection
• ssh monlogin_at_icare.obs.ujf-grenoble.fr
• Compilation
• f95 xtargetopteron xarchamd64 prog.f
• ou
• f95 O x64 prog.f o prog
• Soumission en mode Interactif depuis le serveur
  Icare
• monlogin_at_icare gt oarsub I
• Idjob 254096
• Interactive mode waiting
• monlogin_at_n39 gt ./prog
• Les sorties et erreurs standard du job sont
  renvoyées dans OAR.ltnom du scriptgt.ltnumero du
  job OARgt.stdoutOAR.ltnom du scriptgt.ltnumero du
  job OARgt.stderr

10
Quelques remarques

• Lenvironnement est défini dans /usr/local/.cshrc
  ou .bashrc
• PATH et MANPATH définis pour
• - laccès au compilateur et outils de
  développement
• - laccès à des commandes UNIX avec les options
   classiques 
• Seul le serveur icare est accessible depuis
  lextérieur
• Passer par Icare pour transférer les données sur
  un nud ou depuis un nud
• n11gt scp /scratch/monlogin/toto
  icare-adm/users/monlogin/.
• Se loguer sur un nud uniquement si il vous a été
  alloué par OAR

11
Gestionnaire de ressources OAR

• oarsub -lnodes2,weight4,walltime23000
  monscript
• Soumission sur un nud à 8 Go
• oarsub qmem16go monscript
• Soumission sur un nud à 16 Go
• Ordre dexécution ordre de soumission
• Jobs grille  utilisent le temps libre du
  cluster
• Mode interactif limité à 12 h
• oarstat
• Liste des jobs en cours dexécution
• oardel ltjobidgt
• Destruction dun job

12
Codes parallèles

• OpenMP sur un nud
• Compilation
• f90 openmp x64 prog.f90
• Soumission en interactif
• icaregtoarsub I lnodes1,weight4
• n39gt setenv OMP_NUM_THREADS 4
• n39gt ./prog

13
Codes parallèles

• MPI sur 1 ou plusieurs nuds
• Compilation
• mpif77 x64 prog.f -o prog
• Soumission
• Créer un script monscript
• ! /bin/bash -x
• lamboot OAR_NODEFILE
• mpirun C -ssi rpi usysv /monpath/prog 
• lamhalt
• icaregt oarsub I -lnodes2,weight2
• n39gt ./monscript

14
(No Transcript)
15
(No Transcript)
16
tcov

• Profile du code source
• Produit une copie du source, annotée par bloc
  dinstruction de base (suite dinstructions sans
  branchement)
• Indique la fréquence dexécution des blocs
• Option xprofiletcov à la compilation
• Ex
• f95 onetwo xprofiletcov one.f two.f

17
tcov

• onetwo
• tcov x onetwo.profile one.f two.f
• cat one.f.tcov two.f.tcov
• program one
• 1 ? do i1, 5
• 5 ? call two(i)
• end do
• 1 ? end

18
Analyzer et Collect

• Analyser la performance dun programme
• Connaître les ressources consommées par chaque
  routine
• Identifier les portions de code à optimiser
• Obtenir des statistiques à partir des données
  collectées dans les compteurs hardware (nb
  dopérations entières ou flottantes, utilisation
  des caches, )
• Obtenir des informations sur les optimisations
  effectuées par le compilateur

19
Liens utiles

• Projet CIMENT
• http//ciment.ujf-grenoble.fr
• Documentations
• http//www.obs.ujf-grenoble.fr/SCCI
• OAR http//oar.imag.fr
• SUN http//docs.sun.com
• Liste de diffusion
• usagers-icare_at_ujf-grenoble.fr