Mallas y eCiencia

1
Mallas y e-Ciencia
Computación Distribuida
Jesús Marco de Lucas marco_at_ifca.unican.es Instit
uto de Física de Cantabria (IFCA) Consejo
Superior de Investigaciones Científicas
2
Mallas y e-Ciencia

• Introducción
• Mallas The GRID
• Middleware, la capa intermedia Globus
• Proyectos en e-Science
• e-Business
• Ideas y Futuro

3
e-Ciencia colaboración

• El desarrollo de proyectos científicos requiere
  muchas veces una colaboración en tareas de
  computación distribuida a escala global, solo
  posible gracias a la red
• Requerimientos
• Acceso a grandes colecciones de datos (VLDB)
• Procesado y análisis utilizando grandes recursos
  de cálculo y potentes facilidades de
  visualización
• Herramientas de colaboración
• Ejemplos
• Simulación y Análisis de datos en Física de
  Partículas
• Biología Computacional
• Medicina (análisis de imágenes de diagnostico)
• Modelos de predicción en Ciencias Medio
  Ambientales
• Análisis de observaciones en Astrofísica

4
Ejemplo acelerador LHC (CERN)
Necesidades de Almacenamiento 10 PetaBytes
(10.000.000 Gbytes) Necesidades de Procesado
Equivalente a 200.000 PCs
Europa 267 instituciones, 4603
usuariosResto 208 instituciones, 1632 usuarios
5
Qué son las Mallas ?

• Una propuesta en analogía con la red eléctrica
  (electrical grid)
• Recursos de computación distribuidos, fiables y
  accesibles desde cualquier punto
• Interacción sencilla, sin que el usuario perciba
  la complejidad de la infraestructura
• Envía su trabajo mediante un portal
• GRID localiza los recursos necesarios
• Gestiona la identificación y autoriza el uso de
  los mismos dentro de una Organización Virtual
• Organiza un acceso eficiente a los datos
• Ejecuta el trabajo, e informa al usuario

6
Un poco de historia...

• Agregación de recursos
• Sistema SHIFT (granjas RISC Unix, L.Robertson,
  CERN)
• Clusters de PCs (Sistemas Beowulf, fábricas de
  PC...)
• Recursos distribuidos compartidos
• Sistema Condor (M.Livny)
• gestión de tiempo inactivo en sistemas Linux de
  la red local
• Red Entropía, Programa SETI
• Sistemas Peer to Peer
• 1995 Supercomputing 95
• Experiencia I-WAY 17 centros USA conectados a
  155Mbps
• Primeras iniciativas Grid
• NASA Information Power Grid
• Iniciativa de la NSF con los centros NCSA y SDC
• Advanced Strategic Computing Initiative (DoE)

7
Evolución tecnológica

• Hardware
• Procesadores aún de silicio, cumplen la ley de
  Moore
• El más popular
• Intel 32bits (IA32) PIV/Xeon 3 GHz (0.13
  micras) AMD
• Llegarán a 10 GHz
• Los de élite, 64bit
• Sparc, PowerPc, Alpha
• Nuevo Intel Itanium (1, 2,), AMD Opteron
• Nodos de computación
• PCs y portátiles, Estaciones, Servidores,
  Clusters, Blades
• Almacenamiento
• Discos duros (SCSI lt6/Gb ,U320 o FC,150 GB
  IDE lt2/GB, 200 GB, SATA)
• Servidores RAID(gt2 TB por caja, 100MB/s)
• Cinta LTO (Ultrium) 0,5/GB , 100-200GB por
  cartucho, 15MB/s
• Robots Storagetek Powderhorn, ADIC Ultrascalable
  (IBM,Fujitsu) 1Pbyte
• Coste tiene en cuenta muchos factores
• Espacio, alimentación eléctrica, mantenimiento

8
Clusters

• De granjas a fábricas de PCs
• Nodos con CPUs duales
• Disco local acceso a servidores (NFS-NAS, AFS)
• Limitacion
• Ínterconexión de red
• Gigabit casi popular, pero
• Latencia baja requiere Myrinet o similar,
  solución mas costosa
• Perfectos para HTC (High Throughput Computing)
• Las aplicaciones HPC (High Performance Computing)
  necesitan adaptarse
• La memoria no está compartida
• Las herramientas PVM, MPI
• Instalación y control
• Ok para cientos de ordenadores homogeneos
• Y para miles?
• Computación distribuida uniendo clusters
• La clave es la red
• Se alcanzará la metacomputación?

9
Clusters 200 CPUs lt 200k
10
Conexión en red

• Redes
• Continentales/Transoceanicas
• Ejemplo en Europa Géant
• Backbone 10 Gbps
• Acceso a 2.5 Gbps
• Nivel nacional (NRENs)
• Ejemplo Epaña RedIRIS
• 155Mbps, 622Mbps, 2.5Gbps (lambda)
• Nivel Regional/Campus
• Fast/Gigabit ethernet
• Backbone dedicado para servidores
• SAN, iSCSI, o NAS Gigabit
• coste de puerto Gigabit lt250
• Puntos a tener en cuenta
• Atravesar Firewalls
• QoS (Quality of Service, ej. IP Premium)
• Conectividad End to End (last mile)
• El ancho de banda ayuda, pero ojo a la latencia!

11
Software

• No tantas novedades
• Sistemas Operativos
• Windows 2000/XP
• Unix, en particular Linux
• Programación
• Seguimos con C, incluso Fortran (90), y sobre
  todo
• Programación orientada a objeto C y Java
• El rendimiento es importante
• La portabilidad es igualmente importante
• Re-utilización y mantenimiento son también claves
• Herramientas
• Compiladores
• Debuggeadores
• Modelado (UML)
• Repositorios de código (CVS)
• Librerías Científicas
• NAG, Mathematica, MatLab

12
Gestión de la Información

• Una de las áreas más activas
• RDBMS, bases de datos SQL(bien establecidas,potent
  es)
• Oracle 9i, IBM DB2
• mySQL
• Buen soporte en servidores Linux
• Fracaso de las OO DBMS, pero O/R DBMS soportan
  datos estructurados
• Data Mining (Mineria de datos)
• El entorno Web triunfa! (Poder de W3C!)
• Esquema de tres capas cliente -servidor- fuente
  de información
• La explosión de XML (eXtensible Markup Language)
• Estándar de W3C para intercambio de informacion
• No es algo nuevo, sino consensuado
• Usa un esquema para definir metadata
• Dos tipos básicos de ficheros XML
• Data-centric
• Document-centric
• XML se integra in las bases de datos (bien
  nativas o bien O/R DBMS)

13
Software de un experimento científico

• Simulación
• Descripción del dispoistivo experimental
• Monte Carlo
• Estudios parametricos
• Toma de datos
• Procesado de datos
• Calibracion
• Filtrado
• Reconstrucción
• Análisis de datos
• Reducción
• Visualización
• Estadistica Paramétrica y no-paramétrica
• Ajuste de modelos
• Test de hipotesis
• Entorno colaborativo
• Discusión, presentación, publicación de
  resultados
• Compartir/intercambiar datos/resultados
• Videoconferencia/reuniones virtuales

14
Desarrollo en capas

• Lenguajes (independientes de la plataforma?)
• Fortran, C, C, Java
• Scripting
• Librerias básicas
• STL, paquetes java, persistencia (acceso a bases
  de datos)
• Toolkits, librerias avanzadas
• Sistema Operativo
• Compilador, librerias shareables, instalación,
  etc.
• Y herramientas de desarrollo
• Acceso a los recursos
• Identificación y seguridad
• Gestión de cuentas
• Nodos de computación
• Almacenamiento local y distribuido (NFS, AFS,
  FTP, URL)
• Uso interactivo y en batch (LSF,PBS)

15
Evolución

• Procesado Ley de Moore
• La potencia se duplica cada 18 meses
• Seguro hasta 10 GHz (pero hay que rentabilizar)
• Almacenamiento
• Discos convencionales
• Serial ATA 600MB/s, convergencia con SCSI
• Cinta Magnética
• LTO crecimiento hasta 1TB /cartucho
• Más dificil, que elegir NAS, SAN o iSCSI ?
• Acoplado con HSM (pool de discos cache)
• Mejora de la red
• Duplicar la capacidad de la red cada 9 meses
• 10 GB ethernet

Del PC local, el interes se desplaza hacia la red

• Clusters de bajo coste
• Mejor soporte Linux, conexión gigabit para
  compartir datos
• Acceso Ubiquitous
• Wireless
• PDA,

16
Posibles problemas

• En la parte del hardware
• Manda el mercado, pero
• Necesitamos un PIV _at_ 10 GHz en casa?
• Ni siquiera para juegos? Mejor procesadores
  especializados
• Para video? Mejor reforzar multimedia (ya hecho)
• Podria necesitar 1TB disco (archivos de video)
• Quién va a usar cintas para backups?
• Sabremos usar adecuadamente la red?
• Limitaciones humanas
• Como manejar tanta información y posibilidades de
  procesado?
• Mas gente en la colaboración ? Aun peor
• Somos incapaces de hacer un software mejor???
• No podemos encontrar mejores métodos?
• Usaremos IA (inteligencia artificial, avatars)?
• Y que decir de las reuniones, informes de
  gestión, etc?

17
El problema de las Mallas

• Compartir de forma flexible, segura y coordinada,
  los recursos entre un conjunto dinámico de
  individuos e instituciones
• Del artículo The Anatomy of the Grid Enabling
  Scalable Virtual Organizations
• Posibilitar comunidades (organizaciones
  virtuales) para compartir recursos distribuidos
  geográficamente, de cara a lograr un objetivo
  común, utilizando protocolos abiertos, y en
  ausencia de
• Un sitio y/o un control central
• Unas relaciones de confianza-propiedad ya
  existentes

18
Testbed del proyecto CrossGrid

• Una colección de recursos de computación
  distribuidos
• 16 sitios en 9 paises, conectados a través de
  Géant NRN
• Servicios Grid middleware de EDG basado en
  Globus

Géant
TCD Dublin
PSNC Poznan
UvA Amsterdam
ICM IPJ Warsaw
FZK Karlsruhe
CYFRONET Cracow
CSIC-UC IFCA Santander
USC Santiago
LIP Lisbon
Auth Thessaloniki
UAB Barcelona
CSIC RedIris Madrid
CSIC IFIC Valencia
UCY Nikosia
DEMO Athens
19
Acceso on-line a instrumentación
Advanced Photon Source
Difusión por red
Clientes VR con control compartido
Toma de datos en tiempo real
archivado
Reconstrucción tomográfica
20
HTC vs HPC

• High Throughput Computing
• Maximizar numero de ejecuciones del programa
• Ejemplo 1.000.000 simulaciones independientes
• Usemos 1000 procesadores, y procesemos 1000
  simulaciones en cada uno
• El resultado final se logra por agregación
• Funciona en un entorno cluster
• Ejemplos Condor, colas batch LSF, PBS
• Funciona en un entorno GRID si existe un
  Resource Broker
• High Performance Computing
• Minimizar el tiempo de respuesta
• Ejemplo Entrenar una red neuronal con una
  arquitectura compleja NN
• Usar 1000 procesadores, cada uno calcula el error
  sobre una parte de los datos, pero
• Para el siguiente paso, se necesita la
  información de todos los procesadores
• Necesita una descripción paralelizada (p.ej.
  MPI) topología (master-esclavo)
• Cercano al METACOMPUTING
• Funcionará en un entorno GRID ?

21
Otro punto de vista tres obstaculos a superar
para que funcionen las Mallas

• Nuevos enfoques en la resolución de problemas
• Data Grids, computación distribuida,
  peer-to-peer, grids colaborativos,
• Estructuración y escritura de programas
• Abstracción, herramientas
• Posibilitar compartir recursos entre diferentes
  instituciones
• Descubrimiento de recursos, acceso, reserva,
  asignación autenticacion, autorizacion, politica
  de uso comunicacion detección de fallos y
  notificacion

22
La capa intermedia

• Del mismo modo que Internet es posible gracias a
  la existencia de un estándar como el protocolo
  TCP/IP, y el WWW gracias al protocolo http y el
  lenguaje HTML, las Mallas cuentan con un
  estándar de facto el middleware Globus
• Desarrollado por ANL (I.Foster) y USC
  (C.Kesselman)
• Arquitectura en capas
• Protocolos
• Seguridad GSI
• Gestión de Recursos GRAM
• Información GRIS
• Transferencia de información GridFTP

23
Arquitectura Grid en capas(Analogía con Internet)
24
Capa de Conectividad

• Communicación
• Protocolos de Internet IP, DNS, routing, etc.
• Securidad Grid Security Infrastructure (GSI)
• Uniformidad en autenticación, authorization, y
  mecanismos de protección de mensajes en un entono
  multi-institucional
• Un solo punto de firma, delegación,
  correspondencia con identidad local
• Tecnología de llave pública, SSL, X.509, GSS-API
• Infraestructura de Soporte Autoridades de
  Certificación, gestión de certificados llaves,

GSI www.gridforum.org/security
25
Problemas de Seguridad
26
Capa de Recursos

• Grid Resource Allocation Management (GRAM)
• Asignación remota, reserva, monitorización,
  control de recursos de computación
• Protocolo GridFTP (extensión de FTP)
• Acceso a datos y transporte de alto rendimiento
• Grid Resource Information Service (GRIS)
• Acceso a la información sobre la estructura de
  los recursos y su estado
• Reserva de red, monitorización, control
• Todo construido sobre la capa de conectividad
  GSI IP

GridFTP www.gridforum.org GRAM, GRIS
www.globus.org
27
Capa Colectiva

• Servicios de metadirectorios (Index Servers)
• Vistas especificas sobre colecciones dinámicas de
  recursos construidas por una comunidad
• Gestores de recursos (Resource Brokers)
• Descubrimiento de recursos y asignación
• Catálogos de replicas de datos
• Servicios de replicac
• Co-reserva y co-asignación de servicios
• Etc.

28
EDG living GRID components an artists view
Network
Security Infrastructure
The deadline was yesterday!
LDAP servers(VO,RC,Infosys)
Why did you change it ?
Why didnt you ask me ?
Mass Storage Systems HPSS, Castor
People
Computing Elements
29
Arquitectura del proyecto EDG
30
Computing resources

• Site testbed
• LCFG configuration server
• User Interface
• Gatekeeper (Computing Element)
• Worker Nodes
• Storage Element
• 16 sites
• 115 CPUs (Worker Nodes)
• 4 TB (Storage Elements)

• National Certification Authority machines

• Grid services (LIP)
• Information Index
• Top MDS Information Server, points to site
  Information Servers
• Resource Broker
• Matchmaking and load balancing scheduler
• Replica Catalogue
• Database for physical replica file location
• Certificate Proxy Server
• Short lived certificates for long lived
  processes, used by RB
• Virtual Organization Server
• Database for user authentication (CROSSGRID VO)
• Monitoring
• Mapcenter network monitoring system

31
Testbed del proyecto CrossGrid

• Una colección de recursos de computación
  distribuidos
• 16 sitios en 9 paises, conectados a través de
  Géant NRN
• Servicios Grid middleware de EDG basado en
  Globus

Géant
TCD Dublin
PSNC Poznan
UvA Amsterdam
ICM IPJ Warsaw
FZK Karlsruhe
CYFRONET Cracow
CSIC-UC IFCA Santander
USC Santiago
LIP Lisbon
Auth Thessaloniki
UAB Barcelona
CSIC RedIris Madrid
CSIC IFIC Valencia
UCY Nikosia
DEMO Athens
32
Replica Catalogue
Information Service
Resource Broker
Storage Element
Logging Book-keeping
Job Submission Service
Compute Element
33
Tópicos en Data Grids

• Data Grids necesitan nuevas técnicas aplicables a
  gandes volumenes distribuidos de datos para
  optimizar
• Acesso
• Procesado
• Acceso
• Regla Poner los datos cerca de los recursos de
  procesado
• Las técnicas de replica se usan ampliamente
• pero, copiar Terabytes de un sitio a otro
  requiere un cierto tiempo, incluso sobre una red
  Gigabit
• Procesado distribuido de datos
• Regla balancear la paralelización usando la
  carga de datos
• Distribución de los datos según la capacidad de
  procesado
• Recordando que el procesado se suele aplicar a
  datos filtrados

34
Grid Projects in eScienceRich in Ideas, Impact,
and Logos
35
Proyectos Grid

• proyectos GRID en USA
• PPDG, GriPhyn, EarthSystem Grid, Fusion
  Collaboratory, NEESGRID
• TeraGrid, iVDGL
• Europa nacionales europeos (V Programa Marco)
• Foro Internacional Global GRID Forum (GGF)

36
Grid Communities and ApplicationsNetwork for
Earthquake Eng. Simulation

• NEESgrid US national infrastructure to couple
  earthquake engineers with experimental
  facilities, databases, computers, each other
• On-demand access to experiments, data streams,
  computing, archives, collaboration

NEESgrid Argonne, Michigan, NCSA, UIUC, USC
www.neesgrid.org
37
GRIDs EU IST projects (36m Euro)
38
El proyecto EU-DataGrid

• CERN (cuna del WWW) con el apoyo de Bruselas
• Proyecto Europeo DataGrid (V PM 2001-2003, 10 M)
• CERN CNRS(F) INFN (I) PPARC(UK) ...
• Desarrollo de software para proporcionar los
  servicios GRID mediante middleware
• Resource and Data management
• Fabric and Monitoring
• Mass Storage
• Network
• Testbed internacional para aplicaciones en Física
  de Partículas, Observación de la Tierra (ESA),
  Biología
• Demos de calidad producción
• Colaboración y complemento con otros proyectos EU
  y USA
• Infraestructura de red proyecto Géant
• Participación Industrial CS SI/F, DataMat/I,
  IBM/UK

39
Cifras de DataGrid
Personas involucradas gt350 usuarios
registrados 12 Organizaciones Virtuales 16
Autoridades de Certificación gt200 personas
entrenadas 278 años-persona de trabajo (100
pagados por EU)
Testbeds gt15 sitios estables gt10000s trabajos
enviados gt1000 CPUs gt5 TeraBytes de disco 3
Sistemas de Almacenamiento Masivo
Software 50 use cases 18 software
releases gt300K líneas de código
Aplicaciones Científicas 5 Earth Obs
institutes 9 bio-informatic apps 6 HEP experiments
40
Física de Partículas

• Simular y reconstruir complejos fenomenos físicos
  millones de veces

41
Aplicaciones Biomédicas

• Data-mining sobre bases de datos genómicas
  (crecimiento exponencial)
• Indexado de bases de datos medicas
  (Tb/hospital/year)
• Entorno colaborativo para experimentos a gran
  escala (e.g. estudios epidemiologicos)
• Procesado paralelo para
• Analisis de bases
• de datos
• Modelado 3D Complejo

42
Earth Observations

• ESA missions
• about 100 Gbytes of data per day (ERS 1/2)
• 500 Gbytes, for the next ENVISAT mission
  (launched March 1st)

• EO requirements for the Grid
• enhance the ability to access high level products
• allow reprocessing of large historical archives
• improve Earth science complex applications (data
  fusion, data mining, modelling )

43
ENVISAT Applications and Data
400 TB/year
44
EDG EO challenge Processing / validation of 1y
of GOME data
Raw satellite data from the GOME
instrument (75 GB - 5000 orbits/y)
Level 1
ESA(IT) KNMI(NL) Processing of raw GOME data to
ozone profiles. 2 alternative algorithms 28000
profiles/day
(example of 1 day total O3)

LIDAR data (7 stations, 2.5MB per month)
IPSL(FR) Validate some of the GOME ozone profiles
(106/y) Coincident in space and time with
Ground-Based measurements
DataGrid environment
Level 2
Visualization Analyze
45
EDG EO Architecture Layers
Problem SolvingEnvironments Frameworks
EO ApplicationsTools Services
Grid ApplicationInterfacing
Data GridMiddleware Services
LocalResources
46
Grid-enabled EO WEBMAP Portal
http//giserver.esrin.esa.it/grid-demo
47
LHC Computing Grid project

• After the CERN Hoffmann review (2000)
• Resource implications presented to LHC experiment
  RRBs in March 2001.
• CERN Management summary presented to SPC and
  Committee of Council in March as white paper.
• Discussions between CERN Management and LHC
  experiment spokespersons.
• LHC turn-on schedule agreed machine-experiments
• CERN/2379 green paper for Council and FC in
  June
• Development and Deployment of LHC Computing Grid
  Infrastructure should be setup and managed as a
  unified project, similar in some ways to a
  detector collaboration. CERN is viewed as the
  institution that should co-ordinate it.
• There should be a Prototyping Phase in 2002-2004.
  The scale and complexity of the development is
  large and must be approached using a Project
  Structure. Work is needed in the Member State
  Institutes and at CERN.
• Human and Material Resources for CERNs part of
  Phase I are not sufficient and should be funded
  by additional contributions from interested
  Member States.

48
Example Grid ApplicationData Grids for High
Energy Physics
www.griphyn.org www.ppdg.net
www.eu-datagrid.org
49
Proyecto CROSSGRID

• Proyecto europeo ( 5 M, trianual, Marzo
  2002-2005)
• presentado en CPA9, 6th IST call,V PM
• iniciativa Polonia(Centros de Computing de
  Cracovia y Poznan)/España(CSIC y CESGA) con el
  apoyo del CERN
• Objetivos
• Extension de GRID en Europa Testbed
• Multidisciplinar aplicaciones interactivas en
• Medio Ambiente (meteorología/contaminación,inundac
  iones)
• Física de Partículas (análisis sobre bases de
  datos distribuidas)
• Medicina (cirugía vascular)
• Participantes
• Polonia, España, Alemania, Portugal, Holanda,
  Austria, Grecia, Irlanda, Slovakia,Chipre...(19
  instituciones)
• Industria Datamat (I), Algosystems (Gr)
• España (900k) CSIC (IFCA, IFIC, RedIRIS), UAB,
  USC

50
The IST Programme Develops Virtual Arteries - a
Grid Infrastructure for Surgical Planning

• Vascular diseases are a major medical problem,
  particularly in the developed countries and are
  of major concern in Europe. Treatment often
  involves surgery. Two common procedures are the
  placement of a bypass to lead the blood around
  clogged (stenosed) arteries and the placement of
  so-called stents that provide support to weakened
  (aneurysmal) arteries. A surgeon plans these
  interventions on the basis of 3D images obtained
  from MRI or CT scans. Both stents and bypasses
  aim to improve blood flow and for both procedures
  there are often various alternatives. Besides
  considerations such as accessibility, the
  attainable improvement in blood flow will
  determine which alternative is best for a
  particular patient.
• Information systems that support vascular
  surgeons in their preoperative decision making
  for certain interventions in the vascular system
  can benefit from advanced simulation and
  visualisation tools. Such tools require access to
  vast computational resources.
• Grid computing provides a modern way of
  addressing problems of this kind, by linking
  together hundreds or even thousands of
  geographically distributed computers to harness
  their total processing potential.
• A prototype system for pretreatment planning in
  vascular interventional and surgical procedures
  is included as an application of Grid computing
  in the CrossGrid project. This prototype relies
  upon the CrossGrid infrastructure for its
  operation, advancing medical technology on a
  European scale.

A CT scanner
Stenosis or narrowing of an artery
Viewing the arterial structure in an
immersive3D environment
51
CrossGrid Provides a Grid-based Approach for
Virtual Arteries

• The CrossGrid Virtual Arteries application aims
  to support the surgeon in making decisions by
  predicting blood flow, on the basis of the
  observed geometry of the arteries, the proposed
  intervention and other relevant data to be
  provided by the expert user.
• Interactive 3D visualisation is used to present
  the results to the surgeon and to define the
  proposed interventions in a clear and intuitive
  manner.
• The role of the Grid
• Advanced Grid-based simulation and interactive
  visualisation techniques require transparent and
  secure user access to distributed resources and
  high computing performance. The CrossGrid
  infrastructure allows the medical scanners and
  data, the visualisation environment and the
  computational resources required for the flow
  computations to be in separate geographical
  locations and in distinct administrative domains.
  The use of the Grid allows the application to
  access the high performance computing resources
  at short notice, without requiring a large
  capital investment.
• The partnership
• The Computational Science Section of the
  University of Amsterdam, Netherlands, is
  responsible for the development of the biomedical
  application within the CrossGrid project.
• CrossGrid, an EC-funded RD project, involves 21
  partners and is coordinated by CYFRONET, the
  Academic Computing Center in Krakow, Poland. The
  dissemination and exploitation of the results of
  the CrossGrid project is coordinated by
  Algosystems S. A., an IT company based in Athens,
  Greece.
• Contacts
• University of Amsterdam
• Prof. P. M. A. Sloot
• sloot_at_science.uva.nl
• CYFRONET Algosystems S.A.
• Prof. M. Turala Yannis Perros
• Michal.Turala_at_cern.ch yperros_at_algosystems.gr

Arterial structures from scans with proposed
bypasses
Simulated flows
52
Floods Devastate Europe August 2002
Floods have killed more than 90 people as water
has swept through cities, towns and villages.
Tens of thousands have been evacuated from their
homes and holidaymakers have been fleeing from
the devastation. Germany, Slovakia, the Czech
Republic, Austria, Romania and Russia have all
been hit by the floods. German officials have
estimated that the damage will cost billions of
Euros.
A grid of computing resources for supporting
flood management
CrossGrid, an IST Programme RD Project Supports
a Grid Infrastructure for Flood Management
Decision Making

• The recent extreme floods in Europe and, in
  particular, Central Europe resulted in scientific
  and societal concerns about the reliability of
  short-term quantitative meteorological forecasts
  and flood forecasts in Slovakia. Besides the
  danger of flooding in large basins, flash floods
  present a serious threat, because of the specific
  physiographic conditions of the country. Flood
  forecasting requires quantitative precipitation
  forecasts based on meteorological simulations of
  different resolution from the meso-scale to the
  storm-scale. Especially for flash floods,
  high-resolution (1 km) regional atmospheric
  models have to be used along with remote sensing
  data (satellite, radar). From the quantitative
  precipitation forecast, hydrological models are
  used to determine the discharge from the affected
  area. Based on this information, hydraulic models
  simulate water flow through various river
  structures to predict the impact of the flood.

HYDRAULIC SIMULATION
In July 1998, an extreme storm hit a part of
eastern Slovakia. The resulting flash floods in
small mountainous basins affected 10850 people in
75 villages. The flood took 47 human lives, 756
people remained homeless and 3618 people had to
be evacuated. 2059 houses were flooded and 279
houses were destroyed. Over 5300 farm animals
perished. Total flood damages were estimated to
be more than 20 million Euros. As a consequence
of this and other flood events, the performance
of several current flood-forecasting methods has
been evaluated.
Such simulations - as decision making aids -
require high-performance computing resources and
infrastructure that normally arent available
locally on the appropriate scale. Grid computing
is a technology that enables the sharing of
computing resources across different
institutional boundaries. It builds on the
technology of the Internet and the Web to provide
a new class of computing infrastructure. It
provides scalable, secure, high-performance
mechanisms for discovering and negotiating access
to remote resources.
53
The CrossGrid Platform Supports Flood Management
Applications
The CrossGrid project addresses the development
of a support system for the establishment and
operation of a Grid-based Virtual Organization
for Flood Forecasting, which will associate a set
of individuals and institutions (different boxes
in data sources represent different data
providers) involved in flood prevention and
protection.

• The system employs the CrossGrid platform of Grid
  services and tools to seamlessly connect together
  experts, data and computing resources needed for
  quick and correct flood management decisions. The
  main component of the system will be a highly
  automated early warning system, based on
  hydro-meteorological (snowmelt) rainfall-runoff
  simulations. Moreover, the system will integrate
  advanced communication techniques, allowing
  crisis management teams to consult various
  experts, before making any decisions. The experts
  will be able to run simulations with different
  parameters and analyze the impact (what-if
  analysis). The use of Grid resources is vital
  especially in the case of a flood crisis, when
  such simulations have to be performed under
  strict time limitations.
• The partnership
• The Institute of Informatics of the Slovak
  Academy of Science, in collaboration with the
  Slovak Meteorological Institute, is responsible
  for the development of the system within the
  CrossGrid project.
• CrossGrid, an EC-funded RD project, involves 21
  partners and is coordinated by CYFRONET, the
  Academic Computing Center in Krakow, Poland. The
  dissemination and exploitation of the results of
  the CrossGrid project is coordinated by
  Algosystems S. A., an IT company based in Athens,
  Greece.
• Contacts
• SAS SHMU
• Dr. Ladislav Hluchý Dr. Karol Martinka
• hluchy.ui_at_savba.sk Karol.Martinka_at_shmu.sk
• CYFRONET Algosystems S. A.
• Prof. M. Turala Yannis Perros
• Michal.Turala_at_cern.ch yperros_at_algosystems.gr

54
Proyecto CROSSGRID

• Meteorología predicciones locales

55
e-Science UK
56
Open Grid Services Architecture (OGSA)
The TCP/IP of Grid Computing
OGSA
57
Architecture Framework
Integrated Functionality
Professional Services
Applications
Autonomic Capabilities
System Management Sevices
Grid Services
Open Grid Services Architecture (OGSA)
OGSI Open Grid Services Infrastructure
58
Servicios Web y GRIDs

• OGSA Open Grid Service Architecture
• Servicios Web
• Interfase describiendo una colección de
  operaciones accesibles en la red
• Separa el interfaz del acceso y la implementación
• Estándar W3C, fuerte apoyo comercial
• XML para todo
• Descripcion (WSDL)
• Mensajes (SOAP)
• Registro (WSIL, UDDI)
• Los servicios GRID además
• con estado definido
• son dinámicos

Ver http//www-106.ibm.com/developerworks/webservi
ces/library/grid1
59
Web services and GRID

• From implementing a Grid service

• To complete outsourcing

60
1980s Internet 1990s Web 2000s Grid

• Where do we need to get to ?
• Applications to support an e-society
  (Cyber-Infrastructure)
• An international Grid infrastructure which hides
  the complexities from the users (Invisible
  Computing)
• A powerful and flexible network infrastructure
• Where do we need to invest ?
• Applications targeted at realistic problems in
  e-science
• Prototypes of Grid infrastructures
• Maintain and improve the GEANT network
• Expression of Interest for EU FP6 program
• Enabling Grids and e-Science in Europe (EGEE)

61
e-Ciencia y 6 PM europeo (2003-2006)

• Inversión en Network GRIDs estimación 300M
• Network Geant-2 (150M)
• GRIDs
• Proyectos de infraestructura básica (EGEE 35 M)
• Redes de excelencia orientadas
• Interés en España
• CSIC IFCA (Santander),RedIRIS,IFIC
  (Valencia),IMEDEA (Palma),CAB,CNB (Madrid)
• Universidades UC, UCM, UAB, UAM, UM, UV, USC
• CIEMAT (Madrid), IFAE (Barcelona), PIC
  (Barcelona), CESGA (Santiago)
• Empresas CIC-SL (Cantabria), Integrasys, Helide,
  GridSystems (Palma)
• REUNIONES EN GT REDIRIS IRIS-GRID
• Presentación de las iniciativas GRID académicas
  en España
• Propuesta de organización a través de red de
  centros de e-Ciencia
• Financiación básica
• 50 6 PM, 30 proyectos nacionales afines, 20
  soporte institucional
• 8 centros con presupuesto básico (core) de 250K
  anuales
• Posibilidad de una acción estratégica

62
Centros de e-Ciencia

• Objetivos
• Establecer un entorno computacional GRID local e
  integrar los recursos correspondientes en la
  estructura nacional e internacional
• Promover proyectos en colaboración con empresas
  para desarrollar e instalar soluciones basadas en
  la tecnología GRID
• Actuar como referencia local de formación y
  diseminación de las iniciativas de e-Ciencia y la
  tecnología GRID
• Condiciones para un centro de e-Ciencia
• Proyectos multidisciplinares de grupos de
  excelencia en investigación con elevadas
  necesidades de computación (cálculo y/o grandes
  bases de datos)
• Soporte de grupos especializados (arquitectura de
  computadores, técnicas de análisis, bases de
  datos, etc.)
• Posibilidad de transferencia de tecnología a
  empresas
• Existencia de un equipo base con interés en la
  iniciativa GRID

63
Organización de un centro de e-Ciencia

• MISION COORDINACION DE INICIATIVAS GRID
• Actividades
• Formación y Diseminación
• Transferencia de Tecnología
• Instalación y mantenimiento de la Infraestructura
  local
• Redes Conexión, QoS, Seguridad
• Middleware GRID
• Data Management (en particular bases de datos
  distribuidas)
• Gridificacion de Aplicaciones
• Organizaciones Virtuales
• Posibilitar trabajo Interactivo y Colaborativo
• Coordinación interna y externa.
• Participación en foros relevantes (nacionales e
  internacionales)
• Recursos
• Panel de coordinación (interna y externa) panel
  técnico
• Excelente conexión de red (nacionalRedIRIS e
  internacionalGéant)
• Infraestructura de calculo (cluster
  almacenamiento on/off-line)
• Equipo humano coordinador, responsables de
  actividades, personal de apoyo e investigadores
  participantes

64
Posibilidades de colaboración

• Punto de partida
• interés científico de la colaboración
• Áreas iniciales?
• Biología Molecular
• Contacto en España Jose Ramón Valverde (CSIC,
  CNB)
• Aplicación las de la red de Biología Molecular
  (EMBnet?)
• Ámbito América Latina
• Meteorología
• Contacto en España Jose Manuel Gutierrez
  (Universidad de Cantabria, colabora con el
  Instituto Nacional de Meteorología)
• Aplicación Downscaling, predicciones locales a
  partir de modelos globales
• Ámbito América del Sur(contactos en Argentina,
  Perú, Chile, Venezuela)
• Astrofísica
• Contacto (a confirmar) Jose Cernicharo (CSIC)
• Aplicación Análisis Datos Observatorios
• Ámbito Chile (ALMA y observatorios ESO )