Celso Martnez Rivero

1

• Celso Martínez Rivero

_at_
2

• Índice
• Qué es el Grid?
• Qué hacemos de esto en el IFCA?
• De qué medios disponemos?

3

• Qué es el Grid?
• Recursos de computación distribuidos
  prácticamente ilimitados y accesibles desde
  múltiples sitios.
• Sistema sencillo desde el punto de vista del
  usuario, escondiéndose toda la complejidad en una
  capa de software intermedio llamado middleware
• Cómo funciona?
• El usuario puede enviar su trabajo a través de un
  portal
• El sistema se encarga de buscar los recursos
  disponibles, teniendo en cuenta la localización
  de los datos de entrada necesarios.
• Gestiona la identificación del usuario dentro de
  una comunidad virtual
• Ejecuta el trabajo y devuelve el resultado al
  usuario.

4
Necesidades de Almacenamiento 10 PetaBytes
(10.000.000 Gbytes) Necesidades de Procesado
Equivalente a 200.000 PCs

• Realmente se necesita el Grid?

Europa 267 instituciones, 4603
usuariosResto 208 instituciones, 1632 usuarios
5

• Hay tanta diferencia con clusters o
  intranets?
• Las organizaciones virtuales en el Grid comparten
  recursos distribuidos geográficamente, utilizando
  protocolos abiertos, y en ausencia de un sitio
  y/o un control central
• Acceso transparente a recursos heterogéneos y
  distribuídos geográficamente
• Posibilidad de atender grandes demandas de
  computación!
• La base del entorno de computación Grid
  middleware Globus
• Estándar de facto, desarrollado inicialmente en
  ANL (I.Foster) y USC (C. Kesselman)
• En evolución hacia el entorno Web services
  (OGSA)

6

• Ejemplo particular
• proyecto Crossgrid (V PM, IST, 2002-2005 , 21
  partners, 5M). Orientado al desarrollo de 4
  aplicaciones de carácter interactivo y la
  extensión del testbed Grid por la mayor parte de
  Europa, asegurando la interoperatividad con
  DataGrid.

7

• Cómo puede ayudar el Grid?
• Desarrollando un testbed que permita ejecutar
  eficazmente nuestras aplicaciones paralelas o
  distribuidas
• Estableciendo las herramientas necesarias para
  mantener la seguridad a la par que la rapidez en
  la ejecución de los trabajos.
• Enviar de la forma más óptima los trabajos,
  teniendo en cuenta los requerimientos de datos de
  entrada así como de necesidad de CPU
• Facilitar el uso de herramientas online y
  visualización interactiva de los resultados
  parciales.

8

• Testbed de Crossgrid 16 sitios en 9 países,
  conectados a través de Géant.
• Grid Services EDG middleware (basado en
  Globus) RB, VO, RC

Géant
TCD Dublin
PSNC Poznan
UvA Amsterdam
ICM IPJ Warsaw
FZK Karlsruhe
CYFRONET Cracow
CSIC-UC IFCA Santander
USC Santiago
LIP Lisbon
Auth Thessaloniki
UAB Barcelona
CSIC RedIris Madrid
CSIC IFIC Valencia
UCY Nikosia
DEMO Athens
9

• Ejemplo de trabajo de análisis HEP
• Entrenamiento de una Red Neuronal Artificial
  (ANN)
• Se intenta separar el fondo conocido (QCD 4f)
  de la señal buscada (Higgs) en procesos ee- a
  200 GeV
• Tras el entrenamiento se testea sobre muestras
  simuladas de fondo (verde) y señal (rojo)

10

• Este proceso de entrenamiento puede llegar a ser
  extremadamente costoso en CPU (horas-días)
• Posibilidad de paralelizar la ANN (WP1.3 de
  Crossgrid)
• Resultado del tiempo de ejecución para un
  problema real en función del número de nodos
  utilizados

11

• Ejemplo de portal preparado para realizar
• Autentificación del usuario
• Selección del programa a ejecutar.
• Introducción de parámetros
• Visualización online del desarrollo durante la
  ejecución
• Obtención final de los resultados.

12

• Qué hacemos de todo esto en el IFCA?

13

• CrossGrid (Development of interactive
  applications for Grid environment)
• V PM, IST, 2002-2005 , 21 partners, 5M
• CSIC main partner, IFCA(Santander)IFIC(Valencia)
  RedIRIS, 455k
• En el IFCA
• Coordinación del testbed europeo (Jesús Marco)
• Certification Authority de España, Cluster setup
  (Rafael Marco)
• Coordinación de la aplicación en Física de
  Partículas (Celso Martínez)
• Bases de datos distribuidas y paralelización MPI
  (David Rodríguez)
• Portal interactivo (Isidro González)
• Tutorial (Irma Díaz, Borja Sotomayor)

14

• LCG-ES (Desarrollo de Infraestructura Datagrid
  para el análisis de datos de LHC)
• MCyT, FPA, 2002-2005, coordinado (IFAE), 7
  centros en España
• IFCA 360k
• Centro Distribuido CSIC (IFICIFCA) de simulación
  para las colaboraciones LHC, con prestaciones
  superiores a un Tier-2
• En el IFCA gt3M sucesos simulados y 2M con Hit
  formatting en 2003 gt 10 TB producidos y
  almacenados localmente 5 TB transferidos al
  CERN.
• Contribución al nivel de centros Tier-1 europeos
  (ej. FZK)
• Coordinación local Francisco Matorras
  Operación David Rodriguez, Grid setup Daniel
  Cano
• LCG-Applications
• Subgrupo de LCG orientado a aplicaciones
  (simulación, análisis, )
• Coordinación Española (F. Matorras)
• Actualmente comenzando la contribución en
  diversos subgrupos
• Grupo de Generadores (J. Cuevas, D. Rodríguez)
• Validación física de la simulación (F.
  Matorras, I. González)

15

• EGEE (Enabling Grids for e-Science in Europe )
• 6 PM, I3 en IST, 2004-2006 , 71 partners, 32M
• Coordinado por el CERN, principal proyecto de
  infraestructura GRID europeo
• CSIC CNBIFCAIFICRedIRIS, 600k (negociación
  concluida)
• Aplicaciones en Biomedicina, e-Infraestructures
  Reflection Group, Testbed
• En el IFCA
• SA1 Operación CA, participación en la
  infraestructura (100 CPUs)
• Coordinación de la participación del CSIC (Jesús
  Marco)
• IRISGrid MCyT, acción especial coordinada por el
  CSIC, 2003
• Promovida por CSIC en el entorno académico,
  motivada por la EoI de EGEE
• Más de 30 grupos (incluyendo p.ej. CEPBA, CESGA,
  UPV, USC, Ciemat, IFAE)
• Objetivos
• Presencia en el nuevo Plan Nacional , ACCION
  ESTRATEGICA EN E-CIENCIA
• Visibilidad y coordinación ante 6PM
• Documentos base sobre middleware, aplicaciones,
  propuestas de infraestructura y testbeds

16

• Publicaciones internacionales con referees
• Training of Neural Networks Interactive
  Possibilities in a Distributed Framework.
  O.Ponce et al. (J.Cuevas, R.Marco,
  D.Rodriguez, J.Marco)
• 9th EuroPVM/MPI 2002 Conference, Linz, Austria
  (September 2002). D. Kranzlmüller et al.(Eds.) pp
  33-40
• First Prototype of the Crossgrid Testbed
• J.Gomes et al. ( J.Marco, R.Marco, D.Rodríguez)
• First European Across Grids Conference. Santiago
  (Febrero 2003). F. Fdez-Rivera et al. (Eds.) pp
  67-78
• RAID-1 and Data Stripping across the GRID
• R.Marco, J.Marco, D.Rodríguez, D.Cano,
  I.Cabrillo
• First European Across Grids Conference. Santiago
  (Febrero 2003). F. Fdez-Rivera et al. (Eds.) pp
  119-124
• Interactive Distributed Data Access in a GRID
  Environment
• D.Rodríguez,J.Marco, R.Marco, C.Martínez Rivero
• First European Across Grids Conference. Santiago
  (Febrero 2003). F. Fdez-Rivera et al. (Eds.) pp
  190-198
• MPICH-G2 Implementation of an Interactive
  Artificial Neural Network Training
• D.Rodríguez et al.
• Second European Across Grids Conference.
  Nicosia, Chipre (Febrero 2004)M.Dikaiakos et
  al.(Eds.) to appear.
• Deployment on an Interactive Physics Analysis
  Application in the Crossgrid Project testbed
• C.Martínez-Rivero et al.
• 10th Global Grid Forum Conference (GGF10).
  Berlin 10-14 Marzo 2004. Accepted contribution.

17

• Colaboración con grupos del IFCA
• Física no-lineal
• Aplicaciones de Meteorología SOM en entorno
  distribuido
• Astrofísica
• Considerando el reprocesado de XMM-Newton
• Simulaciones en Planck
• USI
• Desarrollo de técnicas de transferencia masiva de
  datos
• Conexión directa a RedIRIS desde Febrero 2003
• Proyecto con empresa CIC
• Colaboración con grupos de la UC
• ATC
• Participación en CrossGrid (MPI, paralelización
  de kernels, etc)
• Proyecto LCCG-ES asesoría en la primera fase
• Departamento de Matemática Aplicada
• Servicio de Informática
• Conexión de red firewalls, QoS

18
De qué medios disponemos?
19

• Infraestructura
• Cluster servidores IBM duales (200 CPUs)
• Servidor AFS y 5 Servidores NAS de 1 Terabyte
• Switches backbone Gigabit (x24) 10/100 (x140)
• Robot de cintas LTO ultraescalable a 990
  Terabytes
• Futuro nuevo equipo de uso compartido (300k)
• Personal
• Investigadores en plantilla J. Cuevas (UniOvi),
  J.Marco, C.Martínez-Rivero, F.Matorras
• Unidad de Servicios Informáticos A.Camacho,
  R.Marco
• I3P postdoc Isidro González
• Contratos y becas de proyectos (T.Superior) D.
  Rodriguez, D.Cano, I.Diaz, C.Sordo, B.Sotomayor
• Contratos en proyectos con empresas (T.Superior)
  I.Cabrillo