Nicolas Jacq, jacqclermont'in2p3'fr

1
Gestion de données sur EGEE

• Nicolas Jacq, jacq_at_clermont.in2p3.fr
• Laboratoire de Physique Corpusculaire, CNRS/IN2P3
• IUT dAurillac, licence bioinformatique
• 01/12/2005

2
Plan

• Les fonctions
• Les outils
• Le Replica Manager
• Le Resource Broker
• Commandes et scénarios
• Déplacer les données sur la grille
• Récupérer des données pour le job
• Traiter les données générées par le job
• Autre commande

3
Comment connecterUtilisateur ? Programmes ?
Données ?

• Utilisateur
• connecté à une UI
• Programmes
• sur lUI
• sur des machines de la grille quelque part
• Données
• Lutilisateur peut avoir besoin de fournir des
  données stockées ou non sur la grille aux
  programmes
• Programme peut générer des données à sauvegarder
• Comment récupère-t-on ces données ?

4
Fonctions standards de gestion des données

• Déplacer des données sur la grille
• Stocker des données sur la grille
• Répliquer des données à travers la grille
• Récupérer des données de la grille sur lUI
• Récupérer des données pour le job
• Soumettre des données avec le job
• Adresser des données stockées sur la grille au
  job
• Traiter les données générées par le job
• Récupérer les données résultat sur lUI
• Stocker les données résultat sur la grille

5
Edg-replica-manager (RM)

• Instanciation, enregistrement et réplication des
  données
• Le transfert de données utilise surtout gsiftp
• Comme le FTP, utilise lauthentification grille
• Pas de mot de passe
• Peut utiliser des flots multiples (multithread)
  pour un transfert plus rapide
• Le Replica Location Service (RLS) garde la trace
  de la localisation des diverses copies des
  fichiers grille
• Le RM couvre linteraction entre gsiftp et le RLS

6
Resource Broker (RB)

• Peut envoyer un petit ensemble de données aux
  jobs et depuis les jobs
• Input Sandbox
• Output Sandbox
• Peut utiliser le RLS pour trouver vos données et
  les envoyer à votre job
• Si vos données sont enregistrées dans le RLS
• Si vous le spécifiez au RB

7
Définitions

• Storage Element (SE) machine accessible par la
  grille pour le stockage de données
• Logical File Name (LFN) nom symbolique de
  fichier qui fait référence à un fichier stocké
  sur la grille sans préciser sa localisation.
• Physical File Name (PFN) adresse réelle dun
  fichier stocké sur un SE.
• Grid Unique ID (GUID) identifiant unique
  reliant un LFN à un ou des PFN.
• Replica copie dun fichier sur un ou des autres
  SE. Les LFN et GUID font références à toutes les
  copies

8
LFN
GUID
PFN
PFN
PFN
9
Commandes utiles pour interroger le système
dinformation

• Connaître la liste des SE disponibles sur la
  grille
• lcg-infosites --vo gilda se
• Connaître la liste des CE disponibles sur la
  grille
• lcg-infosites --vo gilda ce

10
Stocker des données sur la grille

• Copier et enregistrer des données UI gt grille
• Mettre le fichier /myhome/toto sur le storage
  element SE.in2p3.fr et enregistrer-le avec le LFN
  toto.test
• La commande retourne le GUID
• lcg-cr d SE.in2p3.fr -l lfntoto.test --vo gilda
  file/myhome/toto
• Trouvez des données sur la grille
• Méthode listReplicas
• Retourne le PFN (sous forme SFN Storage File
  Name)
• lcg-lr --vo gilda lfntoto.test
• lcg-lr --vo gilda guid76373236-b4c7-11d8-bb5e-eba
  42b5000d0

11
Répliquer des données de la grille

• Répliquer des données
• Dupliquer le fichier toto grâce au LFN toto.test
  sur le SE SE.in2p3.fr
• lcg-rep d SE.in2p3.fr --vo gilda lfntoto.test
• Supprimer des données
• Supprimer le fichier toto grâce au LFN toto.test
  sur le SE SE.in2p3.fr
• Loption a permet de supprimer tous les replicas
• lcg-del s SE.in2p3.fr --vo gilda lfntoto.test
• lcg-del -a --vo gilda lfntoto.test

12
Récupérer des données de la grille

• Copier des données grille gt UI
• Mettre le fichier toto avec le LFN toto.test sur
  lUI dans /myhome/
• lcg-cp --vo gilda lfntoto.test file/myhome/toto

13
Soumettre des données avec le job

• Utiliser lattribut InputSandbox dans le JDL
• Attention on ne peut pas utiliser ce champ pour
  un trop grand transfert (plusieurs megabytes)
• InputSandbox toto, job.sh

14
Adresser des données stockées sur la grille au job

• Il faut des données stockées et enregistrées sur
  la grille (dans le RLS)
• Spécifiez les données au job par lattribut
  InputData dans le JDL
• InputData lfntoto
• Dans le script déxecution de votre job, utilisez
  la commande
• export LCG_GFAL_INFOSYSgrid004.ct.infn.it2170
• lcg-cp --vo gilda lfntoto.test filepwd/toto

15
Récupérer les données résultat sur lUI

• Définir le job pour récupérer les données
• Le job génère des données dans le répertoire de
  travail du WN
• A la fin du job, les données sont placées dans
  lespace de stockage temporaire du RB
• Vous les récupérez via edg-job-get-output
• Eléments clé
• Vous devez connaître les noms des fichiers que
  vous souhaitez récupérer
• OutputSandbox toto", toto.out,toto.err
  
• Méthode non destinée pour de gros fichiers (gt
  centaine MB) ? espace de stockage temporaire
  limité sur le RB

16
Stocker les données résultat sur la grille

• Le programme génère des données dans un fichier
  sur le WN
• Le programme doit connaître quel est le nom du
  fichier sur le WN
• Le programme utilise les commandes lcg-cp, lcg-cr
  
• Spécifier les données aux jobs par lattribut
  outputData dans le JDL
• Si aucun LFN nest précisé, WMS en choisit un
• Si aucun SE nest précisé, le SE le plus proche
  est choisi
• OutputData OutputFile toto.out
  StorageElement adc0021.cern.ch
  LogicalFileName lfntheBestTotoEver ,
  OutputFile toto2.out StorageElement
  adc0021.cern.ch LogicalFileName
  lfntheBestTotoEver2
• Un fichier contenant le résultat de cette
  opération est créé et ajouté à la output Sandbox
• DSUpload_ltunique jobstringgt.out

17
Autres commandes

• Outils bas niveau pour copier les données
  distribuées et obtenir des infos
• globus-url-copy ? copie sécurisée sans
  enregistrement RLS
• edg-gridftp pour réaliser des commandes shell sur
  les éléments de stockage
• edg-gridftp-ls, edg-gridftp-rm etc
• Interaction avec les composants RLS
• edg-lrc (local replica catalog)
• edg-rmc (replica metadata catalog, search on
  metadata)