DFN Cluster projet

1
DFN Cluster projet

• Nous lions la force détagère

2
Table des matières
DFN Cluster projet

• Introduction
• Applications
• Mise en place du cluster OpenMosix
• Conclusions

Table des matières
2 / 42
3
Introduction
DFN Cluster projet

• Définitions et notions de bases
• Description de OpenMosix
• Etude du fonctionnement

Université de Wisconsin en Madison
Introduction
3 / 42
4
Définitions et notions de bases
DFN Cluster projet

• Un cluster rassemble toute une horde de machines
  ( puissantes)
• On obtient une solution économique pour créer un
  supercalculateur avec plein de  petit
  calculateur 
• Mettre en place un anneau redondant
• (composé de machine qui se relaie quand lune
  dentre elle tombe)

Introduction
4 / 42
5
Définitions et notions de bases
DFN Cluster projet

• Chaque machine est un nud
• Lensemble est considéré comme une seule et
  unique machine SSI (Single System Image)
• Le nud serveur distribue le travail la
  migration de processus

Introduction
5 / 42
6
Définitions et notions de bases
DFN Cluster projet

• Efficacité générale des clusters
• Le temps dexécution est divisé par le nombre de
  nuds

Exécution des taches
1
2
1
3
Cluster
Ordinateur
10 s
2 s
4
5
Introduction
6 / 42
7
Définitions et notions de bases
DFN Cluster projet

• Efficacité générale des clusters
• La méthode optimale pour gérer les calculs reste
  alors de les migrer entièrement vers le nud le
  puis puissant

La migration des taches
Nuds
Serveur
1
Pentium Pro _at_ 200 MHz
2
Pentium IV _at_ 3200 MHz
Introduction
7 / 42
8
Description de OpenMosix
DFN Cluster projet

• Sommaire
• Historique
• Généralités du système

Introduction
8 / 42
9
Description de OpenMosix
DFN Cluster projet

• Historique
• OpenMosix est un rejeton de Mosix(UNIX
  application, licence non-GPL )
• OpenMosix a un développement plus rapide que
  Mosix grâce à Open Source

Introduction
9 / 42
10
Description de OpenMosix
DFN Cluster projet

• Généralité du Système
• OpenMosix transforme un réseau de nuds en un
  gros système multiprocesseur virtuel (SMP)
• Load-balancing
• OpenMosix utilise un mécanisme de priorité sur
  les processus
• OpenMosix est robuste, sécurisé, stable et
  performant

10 / 42
Introduction
11
Etude du fonctionnement
DFN Cluster projet

• Sommaire
• Protocol du réseau
• Dans le noyau
• Le processus 2 parties
• Rôle de la couché réseau
• La transparence
• Le système MFS

Introduction
11 / 42
12
Etude du fonctionnement
DFN Cluster projet

• Protocole du réseau
• Communication TCP et UDP (à laide du protocole
  TCP/IP)
• Problème la saturation du réseau
• Solution OpenMosix utilise un cache(réduction
  du nombre de copies)
• La communication est également possible par
  lInternet par un VPN

12 / 42
Introduction
13
Etude du fonctionnement
DFN Cluster projet

• Dans le Noyau
• Preemptive Process Migration (PPM) mechanism
• Préparer et gérer la migration
• Algorithms for Adaptive Resource Sharing (AARS)
• Le déclencheur, le système de gestion, de
  décision de migration ou non dun processus

13 / 42
Introduction
14
Etude du fonctionnement
DFN Cluster projet

• Dans le Noyau

ETAPE DE LA MIGRATION DUN PROCESSUS
Exécution du processus
Pré définition ducontexte dedivision
Appel demigration duprocessus
Choix du nudde destination
A.A.R.S.
P.P.M.
La partie userdu processusest migré
Séparation desinteractions duprocessus
entredeputy et remote
Le processus continue àintéragir sans regarde où
il amigré
14 / 42
Introduction
15
Etude du fonctionnement
DFN Cluster projet

• Le processus 2 parties
• La partie  User 
• La partie  System 

Application du contexte de division
processus
Remote User
user
Deputy System
system
15 / 42
Introduction
16
Etude du fonctionnement
DFN Cluster projet

• La partie  User 
• Le contexte Remote contient
• Stack
• Le code du programme
• Les Données
• Memory Maps
• Le registre du processus

16 / 42
Introduction
17
Etude du fonctionnement
DFN Cluster projet

• La partie système
• Elle stocke également
• Description des ressources auquel le processus
  est attaché
• Kernel-Stack

17 / 42
Introduction
18
Etude du fonctionnement
DFN Cluster projet

• Rôle de la couche réseau

18 / 42
Introduction
19
Etude du fonctionnement
DFN Cluster projet

• La transparence
• La transparence dépend du fait que la dépendance
  et les appels systèmes sont tournés à lUHN
• Dune autre côté les appels systèmes sont aussi
  transmis à lUHN qui les traitent et peuvent
  ainsi renvoyer le résultat (à la node distante)

19 / 42
Introduction
20
Etude du fonctionnement
DFN Cluster projet

• Le système MFS
• MFS (Mosix File System)
• MFS donne accès, aux nuds, aux systèmes de
  fichiers de toutes les autres nuds.
• OpenMosix utilise ce système plutôt que NFS car
  le cache y est particulièrement plus important
• /mfs/X/

20 / 42
Introduction
21
Applications
DFN Cluster projet

• Sommaire
• Où trouve ton des clusters de calcul
• Les configurations différentes

21 / 42
Applications
22
Où trouve ton des clusters
DFN Cluster projet

• Dans un milieu professionnel
• Météo
• NASA
• Le gouvernement
• Pour une utilisation personnelle
• Un joli cluster (à la maison)
• Les Universités

22 / 42
Applications
23
Les différentes configurations
DFN Cluster projet

•  Single pool 
• Il sagit dinterconnecter en tant que nodes, des
  serveurs et des stations de travail.
•  Server pool 
• Il sagit de ninterconnecter que les serveurs au
  sein du cluster
•  Adaptive pool 
• Typiquement utilisé la nuit, ou lorsquil part en
  pause
•  Half-duplex pool 
• Cest un  single pool  intelligent

23 / 42
Applications
24
Mise en place du cluster
DFN Cluster projet

• Sommaire
• Pré-requis
• Installation
• Configuration dun nud

24 / 42
Mise en place du cluster OpenMosix
25
Pré-requis
DFN Cluster projet

• 2 PC font laffaire
• Le MEV suffisant (512Mo est agréable)
• Un bon switch et un réseau en 100Mbits(à 10Mbits
  la latence sera tellement forte)
• Un OS Linux (nimporte lequel)
• Linux kernel 2.4 (ou 2.6, mais instable)

25 / 42
Mise en place du cluster OpenMosix
26
Installation
DFN Cluster projet
26 / 42
Mise en place du cluster OpenMosix
27
Installation
DFN Cluster projet

• Téléchargement
• Un serveur DHCP (serveur dhcp3)
• Un serveur TFTP (tftpd-hpa)
• NFS (kernel-NFS3)
• LTSP (Linux Terminal Server Project)
• Linux kernel 2.4.30

27 / 42
Mise en place du cluster OpenMosix
28
Installation
DFN Cluster projet

• Configuration du noyau
• Appliquer le patch noyau

mv openMosix-2.4.30.gz /usr/src/linux-2.4.30
cd /usr/src/linux-2.4.30 zcat
openMosix-2.4.30.gz patch Np1

• Configuration

cd /usr/src/linux make menuconfig
28 / 42
Mise en place du cluster OpenMosix
29
Installation
DFN Cluster projet

• Configuration du noyau

29 / 42
Mise en place du cluster OpenMosix
30
Installation
DFN Cluster projet

• Configuration du noyau

30 / 42
Mise en place du cluster OpenMosix
31
Installation
DFN Cluster projet

• Configuration du noyau

31 / 42
Mise en place du cluster OpenMosix
32
Installation
DFN Cluster projet

• Compiler un noyau général pour les nuds
• Configuration TFTP, DHCP, NFS
• Configuration du LTSP

32 / 42
Mise en place du cluster OpenMosix
33
Installation
DFN Cluster projet
OpenMosix Root Server
DHCP

• Subnet
• Nameserver
• Netboot informatie via pxelinux.o via TFTP

IP?
IP!
Client
33 / 42
Mise en place du cluster OpenMosix
34
Installation
DFN Cluster projet
OpenMosix Root Server
DHCP

• OpenMosix
• NFS shares
• ...

Kernel, NFS
TFTP
Keuzemenu
BOOT optons
Root-fs
Client
34 / 42
Mise en place du cluster OpenMosix
35
Installation
DFN Cluster projet

• Mise en place de Mosix File System (MFS)

mkdir /mfs vi /etc/fstab
Puis ajoutez la ligne
none /mfs mfs noauto,dfsa1 0 0
mount /mfs

• Démarrage dOpenMosix

/etc/init.d/openmosix start
35 / 42
Mise en place du cluster OpenMosix
36
Installation
DFN Cluster projet

• Les programmes OpenMosix
• Migrate (pour migrer les processus)
• Mosmon (un moniteur OpenMosix)
• Mosctl (ladministration dOpenMosix)
• Mosrun (forcer la migration dun processus)
• Openmosixview
• OpenmosixAnalyser
• OpenmosixMigmon

36 / 42
Mise en place du cluster OpenMosix
37
Installation
DFN Cluster projet
37 / 42
Mise en place du cluster OpenMosix
38
Installation
DFN Cluster projet

• Les applications OpenMosix
• POV-ray
• Maple, Matlab, Octave,
• Bioperl, R-project
• 3Dmosmon

38 / 42
Mise en place du cluster OpenMosix
39
Installation
DFN Cluster projet

• POV-ray

39 / 42
Mise en place du cluster OpenMosix
40
Installation
DFN Cluster projet

• R-project

40 / 42
Mise en place du cluster OpenMosix
41
Installation
DFN Cluster projet

• Lélargissement enregistrer avec LDAP

Windows 2000 Active Directory
41 / 42
Mise en place du cluster OpenMosix
42
Conclusion
DFN Cluster projet

• Il veut des gros calculs, les petits sont
  inefficaces
• Des gros calculs oui, mais aussi simultanément
  cest mieux
• La sécurité au sein du Cluster est encore assez
  délicate (accès total au système de fichier de
  chaque node)
• Toutes marches, sauf LDAP

42 / 42
Conclusion