GRIDS

1
GRIDS
Recursos distribuidos para el procesado de
grandes volúmenes de información

• GT RedIRIS 2001
• Jesús Marco
• Instituto de Física de Cantabria (IFCA) CSIC

2
Qué es GRID?

• Origen The Grid Blueprint for a New Computing
  Infrastructure libro de I.Foster/C.Kesselman
  (USA,1998)
• Analogía con la red eléctrica
• Una red que de forma transparente nos proporciona
  la potencia necesaria mediante recursos
  distribuidos
• Objetivo
• Integrar y optimizar, mediante middleware, el uso
  de recursos distribuidos de calculo intensivo y
  de grandes bases de datos, como si estuvieran en
  un cluster local
• Iniciativas
• Temáticas Física de Altas Energías, Astrofísica,
  Biología...
• GRID en USA GriPhyN, PPDG, NASA PowerGrid
• Nacionales GRID en Italia, UK, Francia...
• Internacionales GRID Global Forum (GGF)

3
Qué proporciona GRID?

• Una forma transparente de ejecutar el trabajo que
  se desea
• Encuentra los recursos (máquinas) disponibles
• Asegura un acceso optimizado a los datos
  (incluyendo copias locales/cache...)
• Comprueba la autorización del usuario
• Monitoriza la ejecución
• Además, si es posible, paraleliza el trabajo
• Gracias al middleware
• Proyecto Globus
• Autorización de usuarios
• Gestión de recursos
• Sistema de información
• GLOBAL GRID FORUM (GGF, reunión en Amsterdam 3-5
  marzo 2001)
• Grupos de trabajo Arquitectura Unificada GRID

4
Computing en Física de Partículas

• LHC (Large Hadron Collider) próximo acelerador
  del CERN (Centro Europeo de Física de Particulas)
• Experimentos ALICE, ATLAS, CMS, LHCb
• Gran volumen de datos producidos 1 Petabyte/año
  (1Peta106Giga)
• Recursos, necesarios para procesado y análisis,
  distribuidos por todo el mundo en forma
  jerárquica (proyecto MONARC) centros de nivel 0,
  1, 2, 3...(CERN es el centro de nivel 0 en el que
  se producen los datos, proporciona estos a los de
  nivel 1 un centro de nivel 1 proporciona
  recursos a los de nivel 2...)

5
Experimento LHC
Flujo de datos en el experimento CMS
6
Procesado de Datos en Física de Partículas
event filter (selection reconstruction)
detector
event summary data
raw data
processed data
batch physics analysis
event reprocessing
analysis objects (extracted by physics topic)
event simulation
interactive physics analysis
les.robertson_at_cern.ch
7
Centros de computing

• Basados en clusters de PC conectados por switches
  de alta velocidad
• Sistema operativo Linux
• Servidores de disco y de aplicaciones
  diferenciados
• Tamaño típico
• Centro de nivel 1 (tier-1) gt1000 PC
• Centro de nivel 2 (tier-2) gt100 PC
• En grandes centros (tier-1)
• Soporte de centros de nivel 2
• Servicio ininterrumpido
• Archivado en cintas a traves de un servicio de
  stage

8
Arquitectura genérica de un centro de computing
servidores de red
Servidores de aplicaciones
Servidores de cinta
les.robertson_at_cern.ch
Servidores de disco
Cern/it/pdp-les.robertson 10-98-8
9
Modelo distribuido
Colaboración CMS
10
El proyecto DataGrid

• CERN (cuna del WWW) elegido (por Bruselas) para
  el lanzamiento en Europa de la iniciativa GRID
• Proyecto Europeo DataGRID (2001-2003, 10
  M.Euros)
• ( http//www.eu-datagrid.org )
• CERN CNRS(F) INFN (I) PPARC(UK)
  NIKHEF(NL) ESA
• Desarrollo de middleware (software para
  proporcionar los servicios GRID) testbed
  internacional (ensayo) de aplicaciones (Física de
  partículas, Observación de la Tierra (ESA),
  Biología)
• Infraestructura de red programa Geant
• España IFAE (Barcelona) participante oficial en
  el proyecto, coordina el testbed nacional
  distribuido (Barcelona(IFAE)Santander(IFCA)Valen
  cia(IFIC)Madrid(CiematUAM))

11
Desarrollo de DataGrid

• WP 1-5
• Grid work scheduling
• Grid data management
• Grid monitoring services
• Fabric management
• Mass storage management
• WP6 Testbed and Demonstrators
• WP7 Network Services
• WP8-10 Applications HEP, Biology, Earth
  Observation

12
Testbed de DataGrid
Testbed 0 (operativo) Prueba del
middleware(globus, kit de instalación) Conectivida
d Testbed 1 (septiembre)
13
Estado Actual en DATAGRID-ES

• Centros IFAE, IFCA, CIEMAT, IFIC, UAM
• Comprensión del software GLOBUS
• Conjunto de servicios básicos para la creación de
  GRIDs
• Instalación de GLOBUS en España
• Autoridad de certificación (CA /CES/ODATAGRID-ES
  /)
• Servicio de información (LDAP dces, oGrid)
• Creación de cuentas y grid-mapfile
• Job managers fork, CONDOR installation
• Test jobs
• Objetivo actual establecer infraestructura
  inicial
• Software, hardware, organización

14
Ejemplo Instalación en Santander

• DATAGRID-ES Certification Authority
• GIIS Nacional (LDAP dces, oGrid)
• 2 Clusters IFCA, ATC
• GIIS Grid Index Information Service
• GLOBUS conectado a pool CONDOR
• grid-info-search
• jobs globus ?condor

oGrid
dces, oGrid
dcifca, dcunican.es dces, oGrid
dcatc, dcunican.es dces, oGrid
15
Global GRID Forum
Objetivo promover la interoperabilidad

• First meeting GGF1
  Amsterdam (March 2001) next meeting GGF2
  (Virginia, July 2001)
• WORKING GROUPS
• Account Management Working Group (Accounts-WG)
• Advanced Programming Models Working Group
  (Models-WG)
• Application and Tools Requirements Working Group
  (Apps-WG)
• Grid Computing Environments (GCE-WG)
• Grid Information Service Working Group (GIS-WG)

Global GF Sponsorship Platinum Sponsors (gt25k
annually) Argonne National Laboratory Mathematics
and Computer Science Division NASA NAS
Information Power Grid (IPG) US Department of
Energy ASCI Program US Department of Energy
Office of Scientific Computing Research
Amsterdam Science Technology Center (WTCW)
Microsoft Research and Microsoft Corporation
Sun Microsystems and Sun Labs IBM Intel Gold
Sponsors (10k-25k annually) San Diego
Supercomputer Center (SDSC) Level(3) UniLever
Silver Sponsors (lt10k annually) Objectivity
SURFnet TeleCity AMS-IX Boeing Phantom Works
National Center for Supercomputing Applications
(NCSA) University of Virginia NCF

• Grid Performance Working Group (Perf-WG)
• Jini Activity Working Group (Jini-WG)
• Remote Data Access Working Group (Data-WG)
• Scheduling Working Group (Sched-WG)
• Security Working Group (Security-WG)
• User Services Working Group (Users-WG)

Application Community Initiatives European
DataGrid Grid Physics Network (GriPhyN) Network
for Earthquake Engineering and Simulation
(NEESgrid) General Purpose Grid Infrastructure
Initiatives US Department of Energy (DOE) DOE
Science Grid US (DOE) DisCom2 (Distance and
Distributed Computing and Communication)
European Union (EU) EuroGrid . German Federal
Ministry for Education and Research (BMBF) 
UNICORE US (NASA) Information Power Grid US
(NCSA) National Technology Grid US (NSF)
Partnership for Advanced Computational
Infrastructure (NPACI) Metasystems Thrust

• General-Purpose Grid Technology Projects
• Globus
• Legion
• Condor
• SinRG
• EcoGrid

16
Example Grid Communities

• Access Grid Collaboration
• Enable collaborative work at dozens of sites
  worldwide, with strong sense of shared presence
• Combination of commodity audio/video tech Grid
  technologies for security, discovery, etc.
• 40 sites worldwide, number rising rapidly

http//www.accessgrid.org
17
USA PPDG (Particle Physics Data Grid)
need for Data Grid services to enable the
worldwide distributed computing model of current
and future high-energy and nuclear physics
experiments
18
USA
The Grid Physics Network                          
         Principal Investigators Paul Avery,
University of Florida Ian Foster, University of
Chicago and Argonne National Laboratory
Communities of thousands of scientists,
distributed globally and served by networks of
varying bandwidths, need to extract small signals
from enormous backgrounds via computationally
demanding analyses of datasets that will grow
from the 100 Terabyte to the 100 Petabyte scale
over the next decade. The computing and storage
resources required will be distributed, for both
technical and strategic reasons, across national
centers, regional centers, university computing
centers, and individual desktops.
. The CMS and ATLAS experiments at the Large
Hadron Collider will search for the origins of
mass and probe matter at the smallest length
scales LIGO (Laser Interferometer
Gravitational-wave Observatory) will detect the
gravitational waves of pulsars, supernovae and
in-spiraling binary stars and SDSS (Sloan
Digital Sky Survey) will carry out an automated
sky survey enabling systematic studies of stars,
galaxies, nebulae, and large-scale structure
19
CrossGrid

• Proyecto presentado (Cross Action CPA9,6th IST
  call,V PM) (6 M.Euros)
• Objetivos
• Extension de GRID en Europa Testbed WP4
• Aplicaciones interactivas en
• Física de Partículas (análisis de datos
  interactivo NN distribuidas)
• Medicina (cirugía vascular)
• Medio Ambiente (contaminación/meteorología/inundac
  iones)
• Partners
• Polonia, España, Alemania, Holanda, Austria,
  Grecia...(13 paises, 24 instituciones)
• Industria Datamat (I), Algosystems (Gr)
• España CSIC (IFCA, IFIC, RedIRIS), UAB, USC,
  UAM, participando en aplicaciones (Física de
  partículas, Contaminación/Meteorología),
  performance, resource management, testbed
  Grupos de HEP Grupos de Computing
• Calendario
• Aprobación fin de junio, firma del contrato
  antes de diciembre 2001
• Cluster propuesto con DataGrid

20
Conclusiones y Previsiones...

• GRIDS pueden ser una excelente solución para el
  problema de computing científico distribuido...
• ... O quizás el próximo paso en la evolución en
  la red?
• Problema esencial resolver los aspectos de
  seguridad !!!
• Estimación de riesgos
• Complejidad de la organización de los recursos
  (incluidos los humanos)
• Múltiples GRIDS (incompatibilidad)
• Aparición de software comercial (incluyendo pay
  per use)
• Extensión a nuevos usuarios (ideal para la
  comunidad académica)
• Apoyo de empresas interesadas
• El soporte de la infraestructura de red será
  clave!
• Estamos ilusionados con la colaboración con
  RedIRIS.