Proyectos GRID y centros de e-Ciencia

1
Proyectos GRIDy centros de e-Ciencia
UNA INICIATIVA DE FUTURO DEL INSTITUTO DE FISICA
DE CANTABRIA (IFCA)
Presentada por Jesús Marco, Vicedirector
IFCA Reunión de la Comisión Mixta Universidad
de Cantabria-Consejo Superior de Investigaciones
Científicas Santander, 13 septiembre 2001
2
e-Ciencia ?

• Desarrollo de proyectos científicos a gran escala
  cuya realización requiere una colaboración
  distribuida a escala global posible mediante el
  uso de la red
• Requerimientos
• Acceso a grandes colecciones de datos (VLDB)
• Procesado y Análisis necesita grandes recursos de
  cálculo y potentes facilidades de visualización
• Herramientas de colaboración
• Ejemplos
• Simulación y Análisis de datos en Física de
  Partículas
• Biología Computacional
• Modelos predictivos en Ciencias Medio Ambientales
• Análisis observacional en Astrofísica

3
LHC (Large Hadron Collider, CERN)
CMS
ATLAS
Almacenamiento Datos directos de un
experimento 0.1 1 Gb/segundo Datos
acumulados anualmente 5-8 PetaBytes
Necesidades de disco 10 PetaBytes (10.000.000
Gb) Procesado Equivalente a una granja de
200,000 PCs
LHCb
4
El desafío de LHC
Investigadores repartidos por todo el mundo !
Europa 267 instituciones, 4603
usuariosResto del globo 208 instituciones,
1632 usuarios
5
Qué es GRID ?

• La metáfora GRID
• Basada en la analogía con la red eléctrica
• Recursos distribuidos, ilimitados y accesibles
  desde cualquier punto
• Acceso transparente a grandes bases de datos
  distribuidas (VLDB multipetabytes)
• Interacción sencilla, sin que el usuario perciba
  la complejidad de la infraestructura

• Qué proporciona GRID al usuario?
• Este envía su trabajo, y GRID
• Localiza los recursos mas adecuados para que se
  ejecute
• Organiza un acceso eficiente a sus datos (Caché,
  migración, replicas)
• Se ocupa de identificaciones y autorizaciones
• Tiene en cuenta el interfaz local
• Ejecuta el trabajo, controla su progresión, se
  recupera de problemas
• .. e .. informa al usuario cuando el trabajo está
  completado

6
Iniciativas GRID

• Iniciativas
• Nacionales GRIDs en USA
• después UK,Italia,Holanda, Francia...
• Temáticas Física de Partículas, Astrofísica,
  Biología...
• Internacionales Global GRID Forum
• CERN (cuna del WWW) elegido (por Bruselas) para
  el desarrollo en Europa de la iniciativa GRID
• Proyecto Europeo DataGRID (2001-2003, 10 M)
• CERN CNRS(F) INFN (I) PPARC(UK) ...
• Desarrollo de middleware (software para
  proporcionar los servicios GRID) testbed
  internacional (ensayo) de aplicaciones (Física de
  partículas, Observación de la Tierra (ESA),
  Biología)
• Infraestructura de red programa GEANT
• España participa en el testbed nacional
  distribuido (BarcelonaSantander(IFCA)Valencia(IF
  IC)Madrid(Ciemat))

7
Iniciativas en España

• Cómite de Computing para LHC
• Instituciones que participan
• IFCA(Santander) Coordinador CIEMAT (Madrid)
  CMS
• IFAE (Barcelona), IFIC (Valencia), UAM (Madrid)
  ATLAS
• USC (Santiago) UB (Barcelona) LHCb
• Primer paso presentación de Acciones Especiales
  para una iniciativa GRID para LHC
• Próximo proyecto coordinado en paralelo al
  proyecto GRID del CERN (2002-2004)
• En paralelo iniciativa CrossGRID

8
CROSSGRID

• Proyecto europeo en fase de negociación (6 M)
• presentado en CPA9, 6th IST call,V PM,
  negociación en KA1
• iniciativa Polonia(Centros de Computing)/España(CS
  IC) con el apoyo del CERN
• soprte de la oficina de asuntos europeos del CSIC
  y de nuestra delegacion en el IST!! Gracias!
• Objetivos
• Extension de GRID en Europa Testbed WP4,
  J.Marco
• Multidisciplinar aplicaciones interactivas en
• Medio Ambiente (meteorología/contaminación,inundac
  iones)
• Física de Partículas (análisis de datos
  interactivo)
• Medicina (cirugía vascular)
• Socios
• Polonia, España, Alemania, Holanda, Austria,
  Grecia, Irlanda...(13 paises, 24 instituciones)
• Industria Datamat (I), Algosystems (Gr)
• España CSIC (IFCA, IFIC, RedIRIS),UAB,USC,UAM
  (0.60.20.20.2 M)

9
Iniciativa del IFCA

• Amplia experiencia en computing del IFCA
• Unidad de Servicios Informáticos extraordinaria
  cualificación, gran interés a pesar de contar con
  mínimos recursos
• Infraestructura limitada, heterogénea y obsoleta,
  muy aprovechada
• Responsabilidades/Experiencia/Necesidades en los
  proyectos de TODOS los grupos, especialmente en
  técnicas computacionales de análisis
  (data-mining, bases de datos O/R distribuidas...)
• Catalizador visita en agosto de 2000 de Fabrizio
  Gagliardi (coordinador DataGRID, con motivo de la
  preparación de CSC2001)
• Presentación GRID y contacto con investigadores
• USI, Alta Energía, Astrofísica, Física
  Estadística (IFCA)
• Arquitectura de Computadores
• Matemática Aplicada (Meteorología)
• SODERCAN, Empresas (SEMICROL,TTI)

10
Actividad del IFCA

• Participación en DataGRID
• Montaje testbed incluyendo GIS
• Presentación a RedIRIS requisitos de ancho de
  banda (155 Mbps)
• Contrato a tiempo parcial para trabajar en
  middleware
• Representación de España en el comité de red
  (networking)
• Responsabilidad CA (certification authority)
  nacional
• Asistencia al Global Grid Forum, DataGRID meeting
  (Amsterdam, 2001)
• Lanzamiento de la iniciativa CrossGRID
• Organización general, gestiones en el CERN,
  redacción del proyecto...
• Contactos con los grupos de HEP
• Negociación de la participación
• Incorporación de nuevos grupos (incluyendo
  RedIRIS)
• Participación del IFCA como responsable CSIC
• CSIC Contractor Principal en España

11
Transferencia de tecnología

• Experiencia
• Proyecto FEDER 2000/2001(Tecnología OO en bases
  de datos de HEP) con IBM Data Management Software
  via compañía local SEMICROL
• Aportación en betas de productos finales como
  Object Translator
• Interés de IBM DMS en posicionarse en GRID
• Proyección IFCA presentación en IBM Forum
• Formación de primera línea en ambas direcciones
• Continuidad con nuevos proyectos (ej. LEP
  archiving?)
• Interés de Mundivía (ISP, Grupo Endesa) en
  tecnología GRID
• Participación a traves del I3P (contrato de
  titulado superior)
• Intentar reforzar mediante la colaboración con la
  Consejería de Industria,Trabajo y Desarrollo
  Tecnológico

12
Iniciativas de futuro

• Qué está pasando a nivel mundial
• IBM (Bluegrid), Sun, Compaq/HP, Microsoft
  invirtiendo en GRID
• El software basico (Globus) alcanza su madurez
  (v2.0)
• Refuerzo de proyectos GRID académicos en USA
• Qué se mueve en Europa
• Iniciativa de centros e-Science en UK (98M
  Noviembre 2000)
• Multidisciplinares
• Tecnología GRID
• Inversión elevada
• Contratos de personal y de infraestructura ya en
  marcha...
• Redes nacionales en Francia, Holanda, Italia...
• 7 Proyectos GRID en marcha, cluster en definición
• Preparar propuestas para VI Programa Marco
• Red de Centros de Excelencia en e-Ciencia?

13
Red Académica y Centros GRID
e-Ciencia
SANTANDER
ASTURIAS
SANTIAGO
BARCELONA
MADRID
PALMA
VALENCIA
CANARIAS
14
Portales de comunidades virtuales
USC

Meta Computig Centre
PORTAL
Higgs
IFCA
top
CIEMAT
B physics
15
Requerimientos y Actividades

• Condiciones para un centro de e-Ciencia
• Proyectos multidiciplinares de grupos de
  excelencia en investigación con elevadas
  necesidades de computing (cálculo y grandes bases
  de datos)
• Grupo especializado (arquitectura de computadores
  software)
• Transferencia de tecnología contando con empresas
  que participen en los proyectos
• Existencia de un equipo base con interés en la
  iniciativa GRID
• Estructura
• Redinfraestructura básica (almacenamiento
  on/off-line, cluster de nodos
• Equipo humano coordinador, responsables de
  actividades, personal de apoyo e investigadores
  participantes
• Panel de coordinación panel técnico
• Actividades
• Instalación y mantenimiento de Infraestructura
• Redes y Seguridad
• Middleware GRID
• Data Management
• Testbeds
• Aplicaciones
• Trabajo Interactivo y Colaborativo
• Diseminación, Formación y Tranferencia de
  Tecnología
• Coordinación

16
Propuesta de futuro

• El IFCA ha hecho una apuesta seria por la
  iniciativa e-Ciencia participando en proyectos
  GRID, adoptando su filosofía de computing
  distribuido y reflejandolo en las peticiones de
  infraestructura y personal del apoyo
• Los proyectos en marcha garantizan esta línea de
  trabajo, pero se puede hacer mucho más...
• El IFCA está dispuesto a trabajar en un proyecto
  de centros de e-Ciencia en España, y preparar una
  propuesta para el VI PM, tanto en la vertiente
  nacional como internacional, contando con el
  apoyo de la Universidad (a través del
  Vicerrectorado de Investigación) y del CSIC (a
  través de la coordinación del área de Física y
  tecnologías Físicas)
• El contacto con la Consejería de Desarrollo
  Tecnológico puede ser clave para reforzar la
  transferencia de tecnología
• Los recursos necesarios en infraestructura y
  personal son muy razonables para los objetivos
  posibles
• Una figura legal adecuada para este centro podría
  facilitar la participación en convocatorias
  ligadas a IDI