GOG Grup d

1
GOGGrup dOrdinadors per al Grid(Desde el punto
de vista del usuario ATLAS en el IFIC)

• Santiago González de la Hoz
• (Santiago.Gonzalez_at_ific.uv.es)
• Grid ATLAS compunting team _at_ IFIC
• Reunión TICAL-IFIC 3-Mayo-2004

2
Índice

• Infraestructura GoG
• Uso del GoG a la no-Grid (de forma clásica, y
  como ha sido utilizado hasta ahora)
• Caso específico del Monte Carlos de ATLAS
• Uso del GoG a la Grid (disponible dentro de pocas
  semanas)
• Caso específico del Monte Carlo de ATLAS

3
INFRAESTRUCTURA GOG
4
Ordenadores de cálculo

• 192 Ordenadores (134 IFIC 58 ICMOL)
• 96 Atlhon 1.2 GHz 1Gbyte SDRAM
• 96 Athlon 1.4 GHz 1Gbyte DDR
• Disco duro local de 40 GBytes
• FastEthernet agregando con gigabit ethernet.

5
Adquisiciones recientes
Robot STK L700e700
4 Servidores de disco 2 Servidores de cinta
6
Almacenamiento disco
discos para datos contr CPU Network Capacidad RAID 1
gse01 20x80GB 2x120GB IDE 2x Atlhon 1.5 GHz 1x100Base-T 1x1000Base-SX 920 GB
gse02 16x120GB SATA 2 x XEON 2.0 GHz 1x1000Base-T 1x1000Base-SX 960 GB
gse03 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse04 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse05 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
gse06 12x160GB SATA 2 x XEON 2.8 GHz 2x1000Base-T 960 GB
5720 GB
7
Almacenamiento en cinta
celdas Lectores interface Capacidad (sin comp.)
IBM 3583 54 1 x LTO Gen1 100 GB (sin compr.) SCSI 5.4 TB
STK L700e700 690 4 x LTO Gen2 200 GB (sin compr.) FibreChannel 138 TB
interface CPU Network
tpsrv1 SCSI 1x Athlon 1.5 GHz 1x100Base-T
tpsrv2 FC 2 x XEON 2.8 GHz 2x1000Base-T
tpsrv3 FC 2 x XEON 2.8 GHz 2x1000Base-T
8
Almacenamiento de datos

• En septiembre de 2002 se instaló CASTOR con
• 1 TapeServer
• 1 Compaq TL891DLX (1 lector DLT8000, 10 slots)
• CASTOR en producción desde entonces.
• Durante el 2003 migración a la librería IBM 3583.
• Datos del DC1 de Atlas en /castor/ific.uv.es/atl
  as/project/dc1
• Diciembre de 2003 se añadio la librería de STK y
  los dos nuevos servidores de cinta.

9
USO DEL GOG A LA NO-GRID
10
Uso del GoG (Hasta ahora)(Forma no-Grid)

• Es necesario pedir una cuenta para ello
• El front-end de la granja es reglar.ific.uv.es
• Se envían los trabajos en BATCH a través de PBS
• Cada cuenta dispone de un directorio /home con
  200 MB visible por todos los trabajadores.
• Para cada trabajo se crea un directorio temporal
  en cada trabajador de 40 GB /data/PBS_JOBID, el
  cual se borra al final del trabajo (los ficheros
  útiles deben ser copiado por el propio script).

http//ific.uv.es/gog/uso/page.shtml
11
Uso del GoG (Hasta ahora)(Forma no-Grid)

• Sistema de Colas para la ejecución de comandos en
  OpenPBS.
• Existen las colas que se pueden ver en la tabla,
  alimentadas de una cola default, a la cual se
  deben enviar los trabajos.
• Esta los envía a las distintas colas en función
  del tiempo solicitado . Sino se especifica el
  tiempo, irá a la cola small.

Nombre Tiempo CPU Num. Trab. Limimete
small 002000 20
medium 020000 20
long 120000 60
verylong 720000 40
12
Uso del GoG (Hasta ahora)(Forma no-Grid)

• Enviar programas, es necesario escribir un
  fichero de comandos que contiene las
  instrucciones necesarias para la ejecución de
  aquel y las órdenes al sistema de colas.
• El software de los experimentos se instala en
  /soft/
• /soft/atlas
• /soft/alice
• /soft/cmsprod
• El software es instalado por el responsable en el
  IFIC de cada experimento, en el caso de ATLAS
  (Santiago González). Todos los usuarios del grupo
  ATLAS pueden ver /soft/atlas
• Última versión de ATLAS instalada es la 7.0.0
  /soft/atlas/7.0.0/software/dist/7.0.0/
• Applications Calorimeter
  genz pythia
• atdummy commons
  ggenz Reconstruction
• atgen Control
  graphics Simulation
• AtlasCxxPolicy Database
  InnerDetector slug
• AtlasFortranPolicy DetectorDescription
  InstallArea taginfo
• AtlasPolicy dice
  jetfinder TestPolicy
• AtlasRelease Event
  jetset TileCalorimeter
• AtlasSystemSettings External
  LArCalorimeter Tools
• AtlasTest gcalor
  MagneticField Trigger
• atlfast geant3
  matele Utilities
• atlsim gencl
  MuonSpectrometer
• atrecon Generators
  njets

13
Uso del GoG (Hasta ahora)(Forma no-Grid)

• Ejemplo Simulación del detector ATLAS (versión
  6.5.0)
• Utilizo 2 scripts en mi home directory
  /home/sgonzale/
• atlas_pbs.sh (script necesario para enviar
  nuestro trabajo de simulación/reconstrucción a
  las colas de PBS)
• dc1.zsh (script dado por la colaboración ATLAS DC
  y adaptado al entorno del IFIC, para hacer la
  simulación, uno idéntico para la reconstrucción).

14
Uso del GoG (Hasta ahora)(Forma no-Grid)

• !/bin/sh
• PBS -q special
• PBS -l cput480000
• PBS -l nodescpu085
• WORKDIR/data/PBS_JOBID
• cd WORKDIR
• echo "CDW "
• pwd
• echo "ENV "
• printenv
• echo "date "
• date
• OUTPART1500
• INDISKdata06
• OUTDISKdata10
• if OUTPART -lt 10 then
• OUTPARTNR"0000OUTPART"

atlas_pbs.sh
15
Uso del GoG (Hasta ahora)(Forma no-Grid)

• !/bin/zsh
• if test argv -ne 3 then
• echo usage dc1.zsh "ltoutpartnrgt" "ltindiskgt"
  "ltoutdiskgt"
• exit 0
• fi
• example dc1.zsh 97 data01 data07
• 
  
• export PATH"/usr/local/gcc-alt-3.2.3/bin/PATH"
• echo PATH
• which gcc
• echo "
  "
• echo
• echo "working directory is" pwd

dc1.zsh (dado por la colaboración Data
Challenge) (afs/cern.ch/atlas/project/dc1/ Los
nuevos DC2 /afs/cern.ch/atlas/project/dc2
16
Uso del GoG (Hasta ahora)(Forma no-Grid)

• typeset -Z 4 INPARTNRinpnr
• export INPARTNR
• ((FIRST ((OUTPARTNR - 1) OUTPARTSZ) 1))
• export FIRST
• ((NSKIP OUTPARTSZ ((OUTPARTNR - 1)
  (INPARTSZ / OUTPARTSZ)) ))
• export NSKIP
• ((LAST FIRST OUTPARTSZ - 1))
• export LAST
• echo "FIRST FIRST"
• echo "LAST LAST"
• echo "NSKIP NSKIP"
• echo "INPARTNR INPARTNR"
• Source the kit environment
• export ATLAS_ROOT/soft/atlas/6.5.0
• source ATLAS_ROOT/etc/atlas.shrc

dc1.zsh (dado por la colaboración Data
Challenge) (afs/cern.ch/atlas/project/dc1/ Los
nuevos DC2 /afs/cern.ch/atlas/project/dc2
17
Uso del GoG (Hasta ahora)(Forma no-Grid)

• export HISDIR/shift/gse01/OUTDISK/atlas/project/
  dc1/simul/his/DSET
• export LOGDIR/shift/gse01/OUTDISK/atlas/project/
  dc1/simul/log/DSET
• export JOBDIR/home/atlsoft/dc1_simul_650/scripts
• export MAGLOCcerncastor/castor/cern.ch/atlas/pro
  ject/dc1
• 
  
• applications bootstrap
  
• 
  
• export COMPILERSATLAS_ROOT/i386_redhat73/usr.loc
  al/gcc-alt-3.2
• export ROOTSYSATLAS_ROOT/ROOT/v3.05.05/rh73_gcc3
  2/root
• export LHCXXnone
• The following line is used to copy the input
  file locally,
• uncomment if necessary and customize for your
  site
• rfcp INPUT_DIR/INPUT_FILE WORKDIR/INPUT_FILE

dc1.zsh (dado por la colaboración Data
Challenge) (afs/cern.ch/atlas/project/dc1/ Los
nuevos DC2 /afs/cern.ch/atlas/project/dc2
18
Uso del GoG (Hasta ahora)(Forma no-Grid)

• 
  
• run dice-atlsim in batch with built-in
  kumac below
• 
  
• print env info
• printenv grep -v 'CONFIG' grep -v
  "ROOTDISTREL"
• echo
• echo "
  "
• echo
• ATLASLIB"CMTATLAS/InstallArea/CMTCONFIG/lib
  "
• rm -f mykumac
• cat gt mykumac ltltEOF
• gexec ATLASLIB/libRootKernel.so
• Ag/Version batch
• gexec ATLASLIB/libatlroot.so
• gexec ATLASLIB/libatlprod.so
• gtime 0 1000 1
• Rung 0 1
• Ranlux OUTPARTNR
• ghist WORKDIR/atlas.OUTPARTNR.his

dc1.zsh (dado por la colaboración Data
Challenge) (afs/cern.ch/atlas/project/dc1/ Los
nuevos DC2 /afs/cern.ch/atlas/project/dc2
19
USO DEL GOG A LA GRID
20
Uso del GoG (Forma Grid EN PRUEBAS)

• Ver página web http//ific.uv.es/sgonzale/certif
  icado
• Dos pasos
• Obtención de certificado
• Darse de alta en la Organización Virtual de ATLAS
  (ATLAS VO)
• OBTENCIÓN DE CERTIFICADO
• Solicitar cuenta en la granaja GOG
• Abrirse una cuenta en el User Interface (UI),
  lcg2ui.ific.uv.es (pedir esto a Javier Sánchez)
• Una vez logado en el User Interface, ejecutar el
  comando "grid-cert-request" y meter una clave
  para dicho certificado
• Después de haber ejecutado el comando se creará
  el directorio ".globus", el cual contendrá tres
  ficheros (usercert.pem, userkey.pem,
  usercert_request.pem)
• Enviar usercert_request.pem a la Autoridad
  Certificadora (datagrid-es-ca_at_ifca.unican.es)
  para que sea firmado adecuadamente.
• Una vez la Autoridad Certificadora lo firme
  adecuadamente (se recibirá un e-mail con el
  request firmado), copiar dicho request en el
  fichero usercert.pem
• Para comprobar que el certificado ha sido
  firmado correctamente y funciona adecuadamente,
  hacer las siguientes pruebas
• grid-proxy-init, si el comando tiene éxito el
  resultado deberia ser como el siguiente
• Your identity /CES/ODATAGRID-ES/OIFIC/CNSanti
  ago Gonzalez de la Hoz Enter GRID pass phrase
  for this identity Creating proxy
  ...................................... Done Your
  proxy is valid until Tue Apr  6 010721 2004
• grid-proxy-info,

21
Uso del GoG (Forma Grid EN PRUEBAS)

• DARSE DE ALTA EN LA ORGANIZACIÓN VIRTUAL DE ATLAS
• 0) Asegurarse que eres usuario ATLAS en el CERN,
  este paso es el principal (por ejemplo logate en
  lxplus.cern.ch y haz un xwho, ahí se puede ver si
  perteneces a ATLAS o no)
• 1) Convertir el certificado en un formato que
  reconozca el browser (formato p12), para ello
  utilizar el siguiente comando en el User
  Inteface  
• openssl pkcs12 -export -in usercert.pem -inkey
  userkey.pem -out cert.p12 2)
• 2) Importar el certificado al Browser (Netscape,
  Mozilla, etc...)  Ir a las opcione seguridad (en
  el mozillar dentro de Edit y luego dentro de
  Preferences) e importar el certificado (el
  cert.p12)
• 3) Ir a la siguiente página web
  http//lcg-registrar.cern.ch/ y alli rellenar el
  LCG Registar form (pinchar en ese link),
  elegiendo como VO ATLAS
• 4) Ir a la página web http//www.nordugrid.org/mo
  nitor/atlasvo/ y ver que se pertenece al grupo
  lcg1
• 5) Leer la guía del usuario para utilizar un
  testbed con el middleware del proyecto LCG,
  disponible en la página http//lcg.web.cern.ch/LC
  G/peb/grid_deployment/user_intro.htm
• 6) Visitar la siguiente página web y ver que se
  está dado de alta http//www.nordugrid.org/monito
  r/atlasvo/
• 7) Pasado unas 6 horas o así intentar correr un
  simple trabajo
• globus-job-run lcg2ce.ific.uv.es/jobmanager-lcgpb
  s /bin/bash -c "hostnamepwd", si el comando se
  ejecuta con éxito deberia salir algo como lo
  siguiente
• wn101.ific.uv.es /home/atlas001

22
Grid Global Service (CERN)
Site i
Globus
II
JSS
LB
Globus
network
Site j

• Single Job Submission (from site j)
• Running in another site (in site i)

23
Uso del GoG (Forma Grid EN PRUEBAS)

• Se ha corrido ATLAS-6.0.4 a la grid (versión dada
  en la release del Grid)
• Se ha utilizado la distribución estándar de RPMs
  usada en los DC1.
• Se puede hacer tanto simulación como
  reconstrucción.
• La simulación ha corrido bien en todos los
  sitios
• ATLAS_ROOT/opt/exp_software/atlas/
• ATL_VERSION/opt/exp_software/atlas/software/dist/
  6.0.4

24
Uso del GoG (Forma Grid EN PRUEBAS)

• Fichero JDL (Job Description Language)
• Executable "/usr/bin/time"
• Arguments "/bin/sh dc1-ds2000.sh 23"
• StdOutput "ific-20031028-dc1.002000.simul.00023.
  hlt.pythia_jet_17.log"
• StdError "ific-20031028-dc1.002000.simul.00023.h
  lt.pythia_jet_17.err"
• InputSandbox "dc1-ds2000.sh"
• OutputSandbox "ific-20031028-dc1.002000.simul.0
  0023.hlt.pythia_jet_17.zebra",
• "ific-20031028-dc1.002000.simul.00023.hlt.pythia_j
  et_17.log",
• "ific-20031028-dc1.002000.simul.00023.hlt.pythia_j
  et_17.his",
• "ific-20031028-dc1.002000.simul.00023.hlt.pythia_j
  et_17.MAG",
• "ific-20031028-dc1.002000.simul.00023.hlt.pythia_j
  et_17.AMI",
• "ific-20031028-dc1.002000.simul.00023.hlt.pythia_j
  et_17.err"
• InputData "lfnific-20031028-dc1.002000.evgen.0
  002.hlt.pythia_jet_17.root"
• DataAccessProtocol "file"
• Requirements other.GlueCEPolicyMaxCPUTime gt
  86400
• Requirements member("ATLAS6.0.4",other.GlueHostA
  pplicationSoftwareRunTimeEnvironment)
• Rank other.GlueCEStateFreeCPUs
• RetryCount 0

25
Uso del GoG (Forma Grid EN PRUEBAS)

• Ejemplo Simulación del detector ATLAS (versión
  6.0.4) con el GRID
• Utilizo 2 scripts en mi directorio de afs a
  través del UI (lcg2ui.ific.uv.es) los
  trabajadores no montan AFS, diferencia respecto
  antes
• loop2000 (script necesario para enviar nuestro
  trabajo de simulación/reconstrucción a la GRID)
• dc1-ds2000.sh (script dado por la colaboración
  ATLAS DC y adaptado al entorno del IFIC, para
  hacer la simulación, uno idéntico para la
  reconstrucción).
• IDÉNTICO AL UTILIZADO DE LA FORMA NO GRID
• La única diferencia es copiar el fichero de
  salida,
• se utiliza un comando grid
• globus-url-copy file//TEMPO/LFN.zebra
  gsiftp//closeSE/flatfiles/SE00/atlas/test-ific/
  LFN.zebra

26

• !/bin/sh
• Submits several DC1 simulation jobs
• if -eq 0 then
• echo 1gt2 Usage 0 njobs first partition
• exit 127
• fi
• NJOB1
• outpart2-1
• PROJ"ific-20031028-dc1"
• STEP"simul"
• DSET"002000"
• TEAM"hlt"
• PROC"pythia_jet_17"
• estime86400
• BNAMPROJ.DSET.STEP
• IBASPROJ.DSET.evgen

loop2000
27

• this file is created authomatically, don't
  edit!
• Executable "/usr/bin/time"
• Arguments "/bin/sh dc1-ds2000.sh outpart"
• StdOutput "ONAM"
• StdError "ENAM"
• InputSandbox "dc1-ds2000.sh", "rc.conf"
• OutputSandbox "ZFIL","ONAM","HFIL","MFIL","
  AFIL","ENAM"
• InputData "lfnLFN"
• DataAccessProtocol "file"
• Requirements other.GlueCEPolicyMaxCPUTime gt
  estime
• Puesto por Oxana
• Requirements member("ATLAS-6.0.4",other.GlueHost
  ApplicationSoftwareRunTimeEnvironment)
• Requirements other.GlueCEInfoHostName
  "lcg2ce.ific.uv.es"
• Requirements other.GlueCEInfoHostName
  "grid003.ft.uam.es"
• Requirements other.GlueCEInfoHostName
  "lcg02.ciemat.es"
• Requirements other.GlueCEInfoHostName
  "lcg-ce.ecm.ub.es"
• Requirements other.GlueCEInfoHostName
  "lcg-ce.usc.cesga.es"
• Requirements other.GlueCEInfoHostName
  "grid-w1.ifae.es"

28
Uso del GoG (Forma Grid EN PRUEBAS)

• Algunos comandos utilizados (Manuals Series LCG-2
  User Guide)
• grid-proxy-init ? para acceder al testbed con
  mi certificado
• edg-gridftp-ls --verbose gsiftp//loki03.ific.uv.
  es/flatfiles/SE00/atlas/test-ific/
• para ver el contenido en un directorio del SE
  (equivalente al ls)
• globus-url-copy file//(path completo donde esté
  el fichero) gsiftp//castorgrid.ific.uv.es/flatfil
  es/SE00/atlas/test-ific/
• ific-20040113-dc1.002387.evgen.0001.pyt_zprime200
  0_bb.root
• para copiar un fichero al SE
• edg-replica-manager --vo atlas registerFile
• srm//castrogrid.ific.uv.es/flatfiles/SE00/atlas/
  test-ific/
• ific-20040113-dc1.002387.evgen.0001.pyt_zprime200
  0_bb.root
• -l lfnific-20040113-dc1.002387.evgen.0001.pyt_zp
  rime2000_bb.root
• para registrar el fichero en el catálogo

29
Uso del GoG (Forma Grid EN PRUEBAS)

• Futuro en ATLAS
• Data Challenges 2 dentro del LCG2
• Validar la cadena de producción de ATLAS
• Generación de sucesos, Geant4-simulation
• Digitalización, Byte-stream
• Pile-up, datos ESD (Event Summary Data) y AOD
  (Analysis Object Data)
• Utilizar el GRID (el LCG2)
• Correr simulación en diferentes sites
• Reconstruir lo sucesos en diferentes sites
• Proveer acceso a los datos a los miembros de la
  VO de ATLAS
• Analizar datos de forma On-line y Off-line

30
Uso del GoG (Forma Grid EN PRUEBAS)

• Futuro en ATLAS
• Versión del Monte Carlo 8.0.1 o superiores
• La utilizada en los DC2 y a partir de ahora, las
  personas responsables en el CERN-ATLAS instalarán
  y validarán el software en los diferentes sites
  (utilizando el GRID).
• Se instalará en todos los WNs y podran vivir dos
  o tres versiones del Monte Carlo a la vez
  (/opt/exp_software/atlas/dist/8.0.1).
• Se enviarán trabajos utilizando el JDL (Job
  Description Language)
• Aquí específico en inputsanbox el ejecutable y lo
  necesario para correr el programa

31
Uso del GoG (Forma Grid EN PRUEBAS)

• Grupo de Computación Grid del IFIC
• http//ific.uv.es/grid/computacion-grid/
• En la foto falta Farida Fassi

32
Uso del GoG (Forma Grid EN PRUEBAS)

• GRACIAS por vuestra atención
• ALGUNA PREGUNTA, COMENTARIO O SUGERENCIA?