GRID Recursos distribuidos para el procesado de grandes volmenes de informacin

1
GRIDRecursos distribuidos para el procesado de
grandes volúmenes de información

• Instituto de Física de Cantabria
• CSIC-UC
• Abril 2001

2
Qué es GRID?

• Origen The Grid Blueprint for a New Computing
  Infrastructure libro de I.Foster/C.Kesselman
  (USA,1998)
• Analogía con la red eléctrica
• Una red que de forma transparente nos proporciona
  la potencia necesaria mediante recursos
  distribuidos
• Objetivo
• Integrar y optimizar, mediante middleware, el uso
  de recursos distribuidos de calculo intensivo y
  de grandes bases de datos, como si estuvieran en
  un cluster local
• Iniciativas
• Nacionales GRID en USA, Italia, UK, Francia...
• Temáticas Física de Altas Energías, Astrofísica,
  Biología...
• Internacionales GRID Forum, DataGRID, EuroGRID

3
Que proporciona GRID

• Una forma transparente de ejecutar el trabajo que
  se desea
• Encuentra los recursos (máquinas) disponibles
• Asegura un acceso optimizado a los datos
  (incluyendo copias locales/cache...)
• Comprueba la autorización del usuario
• Monitoriza la ejecución
• Además, si es posible, paraleliza el trabajo
• Gracias al middleware
• Proyecto Globus
• Autorización de usuarios
• Gestión de recursos
• Sistema de información
• GLOBAL GRID FORUM (GGF, reunión en Amsterdam 3-5
  marzo 2001)
• Grupos de trabajo
• Arquitectura Unificada GRID ?

4
Computing en Física de Partículas

• LHC (Large Hadron Collider) próximo acelerador
  del CERN (Centro Europeo de Física de Particulas)
• Experimentos ALICE, ATLAS, CMS, LHCb
• Gran volumen de datos producidos 1 Petabyte/año
  (1Peta106Giga)
• Recursos, necesarios para procesado y análisis,
  distribuidos por todo el mundo en forma
  jerárquica centros de nivel 0, 1, 2, 3...(un
  centro de nivel 1 proporciona datos a los de
  nivel 2...)
• CERN (cuna del WWW) elegido (por Bruselas) para
  el desarrollo en Europa de la iniciativa GRID
• Proyecto Europeo DataGRID (2001-2003, 10 M.Euros)
• CERN CNRS(F) INFN (I) PPARC(UK) ...
• Desarrollo de middleware (software para
  proporcionar los servicios GRID) testbed
  internacional (ensayo) de aplicaciones (Física de
  partículas, Observación de la Tierra (ESA),
  Biología)
• Infraestructura de red programa GEANT
• España IFAE (Barcelona) participa en el testbed
  nacional distribuido (BarcelonaSantander(IFCA)Va
  lencia(IFIC)Madrid(CiematUAM))

5
Experimento LHC
Flujo de datos en el experimento CMS
6
Procesado de Datos en Física de Partículas
event filter (selection reconstruction)
detector
event summary data
raw data
processed data
batch physics analysis
event reprocessing
analysis objects (extracted by physics topic)
event simulation
interactive physics analysis
les.robertson_at_cern.ch
7
Centros de computing

• Basados en clusters de PC conectados por switches
  de alta velocidad
• Sistema operativo Linux
• Servidores de disco y de aplicaciones
  diferenciados
• Tamaño típico
• Centro de nivel 1 (tier-1) gt1000 PC
• Centro de nivel 2 (tier-2) gt100 PC
• En grandes centros (tier-1)
• Soporte de centros de nivel 2
• Servicio ininterrumpido
• Archivado en cintas a traves de un servicio de
  stage

8
Arquitectura genérica de un centro de computing
servidores de red
Servidores de aplicaciones
Servidores de cinta
les.robertson_at_cern.ch
Servidores de disco
Cern/it/pdp-les.robertson 10-98-8
9
Modelo distribuido
Colaboración CMS
10
Iniciativas en España

• Cómite de Computing para LHC
• Instituciones que participan
• IFCA(Santander) CIEMAT (Madrid) experimento CMS
• IFAE (Barcelona), IFIC (Valencia), UAM (Madrid)
  experimento ATLAS
• USC (Santiago) UB (Barcelona) LHCb
• Proposición
• Preparar Tier 1 en España (costo aprox 700 Mptas)
  5 Tier 2
• Financiación Programa Nacional de Altas Energías
  50 , local 50
• Acción especial (2001, 70 Mptas) Proyectos
  (2002-2005, 2006-2008)
• Participación en DataGRID (institución firmante
  IFAE Barcelona)
• Financiación modesta contratos de computing en
  Barcelona, Santander, Valencia y Madrid para el
  desarrollo de la infraestructura mínima de
  testbed
• Nueva iniciativa CrossGRID

11
CrossGRID

• Proyecto en preparación (Cross Action CPA9,6th
  IST call,V PM) (6 M.Euros)
• Objetivos
• Extension de GRID en Europa Testbed WP4,
  R.Marco
• Aplicaciones interactivas en
• Física de Partículas (análisis de datos
  interactivo)J.Marco,D.Rodriguez
• Medicina (cirugía vascular)
• Medio Ambiente (contaminación/meteorologíaJ.M.Gut
  iérrez, inundaciones)
• Partners
• Polonia, Alemania, Holanda, Austria, Grecia...(13
  paises, 24 instituciones)
• Industria British Telecom (UK), Datamat (I),
  Algosystems (Gr)
• España CSIC (IFCA, IFIC, RedIRIS), UAB, USC, UAM
  (0.60.20.20.2 M.Euros)
• Participacion en aplicaciones (Física de
  partículas, Contaminación/Meteorología),
  performanceJ.A.Gregorio/O.Ponce, resource
  management, testbed
• Calendario
• Presentación antes del 25 Abril
• Aprobación fin de junio
• Firma del contrato antes de diciembre 2001

12
Iniciativas del IFCA

• Visita de Fabrizio Gagliardi (coordinador
  DataGRID) agosto 2000
• Presentación y contacto con investigadores
• Alta Energía, USI, Astrofísica, Física
  Estadística (IFCA)
• Arquitectura de Computadores
• Matemática Aplicada (Meteorología)
• Física Molecular
• Participación en DataGRID
• Montaje testbed provisional ( 5x PC PIII 1GHz,
  256Mb RAM, 40Gb switch 100) incluyendo GIS
• Presentación a RedIRIS requisitos de ancho de
  banda (155 Mbps)
• Contrato a tiempo parcial para trabajar en
  middleware
• Representación de España en el comité de red
  (networking)
• Responsabilidad CA (certification authority)
  nacional
• Asistencia al Global Grid Forum y al DataGRID
  meeting (Amsterdam, marzo 2001)
• Lanzamiento de la iniciativa CrossGRID
• Organización nacional
• Contactos con los grupos de HEP
• Negociación de la participación
• Incorporación de nuevos grupos (incluyendo
  RedIRIS)
• Participación del IFCA como responsable CSIC

• Invitación a
• Centro de Cálculo
• SODERCAN
• SEMICROL
• TTI

• Organización general
• En la redacción del proyecto
• Gestiones en el CERN
• Negociación

13
Objetivos

• Promoción de GRID como entorno de computing
  distribuido flexible
• Puesta en marcha del cluster/testbed IFCA
  (abril 2001)
• Sistema AFS para servidores de ficheros/usuarios
• Incorporación de usuarios de grupos de
  investigación
• Integración de la experiencia en bases de datos
  (proyecto FEDER)
• O/R DBMS en GRID
• Uso del testbed en el análisis de datos de CDF
  (Fermilab, USA)
• Difusión de GRID charlas en RedIRIS (8 mayo),
  CESGA( 30 mayo)
• CERN SCHOOL OF COMPUTING 2001 SISTEMAS
  DISTRIBUIDOS
• Septiembre 16-29, Asistencia de H.Hoffmann
  (CERN), F.Gagliardi
• Evolución en Centro de Desarrollo de Computing
• Presentación de la Acción Especial PNAE
• Aprobación del Proyecto CrossGRID
• Dotación de personal estable y nuevos contratos
  USI
• Instalaciones (nuevo edificio IFCA)
• Mejora de la conexión nacional (155 Mbps) y GEANT
  (2 Gbps)
• Equipamiento centro nivel 2 y análisis de la
  posibilidad centro de nivel 1

14
Propuestas

• Fundación/Convenio para el desarrollo de
  iniciativas avanzadas de computing en Cantabria
  (Universidad/Diputación/CSIC/Empresas/...)
• Implicación en un futuro parque tecnológico (al
  amparo de futuras convocatorias del MCyT)
• Participación en nuevos proyectos
• InfoXXI?
• Acciones IST en España?
• FEDER?
• Apoyo institucional CERN
• visita al CERN?
• Visita de Hoffmann en la apertura de la CERN
  School of Computing (17 de Septiembre 2001)
• Contacto con SODERCAN

15
Referencias

• CERN http//www.cern.ch
• DataGRID http//www.eu-datagrid.org
• GRID Forum http//www.gridforum.org
• CrossGRID http//www.ifca.unican.es/grid/crossact
  ion
• user crossgrid / passw actiongrid