DGridInitiative Statusbericht

1
D-Grid-Initiative- Statusbericht -

• H.-G. Hegering
• LMU / LRZ

2

• The GRID is an emerging infrastructure that will
  fundamentally change the way we think about and
  use computing...
• The word GRID is chosen be analogy with the
  electric powergrid, which provides pervasive
  access to power
• We believe that by providing pervasive,
  dependable, consistent, and inexpensive access to
  advanced computational capabilities, databases,
  sensors, and people, computational grids will
  have a similar transforming effect and impact
  on human capabilities and society.
• Ian Foster, Care Kesselman (1999)

3
Grid Applications

• Distributed Supercomputing
• distributed interactive simulation
• computational steering, visualization
• High throughput computing
• schedule large number of loosely-coupled tasks
• make use of free processor cycles
• On-Demand Computing
• meet short-term requirements
• Data-Intensive Computing
• high energy physics experiments
• digital sky survey, astronomical photographic
  data
• meteorological forecasting systems
• Collaborative Computing
• Enabling and enhancing human-to-human interactions

4
Classes of Grid Users
5
Grids Research Challenges

• Nature of Applications
• Programming Models and Tools
• System Architecture
• Algorithms and Probling-Solving Methods
• Resource Management
• Security
• Instrumentation and Performance Analysis
• End systems
• Network Protocols and Infrastructure

6
GRID-Projekte (Auswahl)

• EUROGRID
• European Data Grid (EDG)
• European Grid of Solar Observations (EGSO)
• Earth System Grid (ESG)
• Grid Resources of Industrial Applications (GRIA)
• Grid Interoperability Project (GRIP)
• Grid Physics Network (GriPhyN)
• Globus
• International Virtual Data Grid Lab (iVDGL)

• LHC Computing Grid (LCG)
• NASA Information Power Grid (IPG)
• Open Grid Services Architecture Database Access
  and Integration (OGSA-DAI)
• Open Archives Initiative
• Unicore, Unicore plus, Unicore pro

7
Foren, Nationale Initiativen (Auswahl)

• Foren
• Global Grid Forum (GGF) OGSA Grid Architecture
• European Grid Forum (EGF)
• Globus
• Nationale Initiativen
• Revolutionizing Science and Engineering Through
  Cyber Infrastructure
• NFS Blue-Ribbon Advisory Panel, January 2003
• DOE Science Networking Challenge Roadmap to
  2008, June 2003
• NSF Middleware Initiative (NMI)
• Dutch Grid, Virtual Lab
• NORDUGRID
• INFN-Grid
• EU
• EGEE-Projekt im 6. Rahmenprogramm

8
Situation in Deutschland (bis 2003) (1)

• UNICORE-Projekte (ausgelaufen)
• DFN-Entwicklungsprogramm (2001 ausgelaufen)
• einzelne Personen/Institute beteiligt in
  verschiedenen Konsortien und Projekten
• LHC-Grid, Tier1-Zentrum in Karlsruhe für deutsche
  LHC-Gruppe
• bislang keine nationale Initiative (vergleichbar
  zu USA, GB, NL)
• bislang keine nationale Anstrengung für eine
  Grid-Infrastruktur

9
Situation in Deutschland (bis 2003) (2)

• Grid macht nicht bei nationalen Grenzen halt
• Deutsche Wissenschaftler eingebunden in
  internationale Communities
• Deutsche Wissenschaftler angewiesen auf Zugriff
  auf internationale Ressourcen (Rechner, Daten,
  Experimente)
• Grid ohne Standardisierung (auf vielen Ebenen)
  funktioniert nicht
• Jede Community muss nicht alle Grid-Aspekte neu
  erfinden
• Deutschland sollte die Chancen des Grid nicht
  verschlafen

10
D-GRID Enstehung

• seit 2003 mehrere Workshops (auf Initiative des
  FZ KA und des HGF)
• beteiligt alle bekannten relevanten Einrichtungen
  aus dem Wissenschaftsbereich, inkl. DFN und BMBF,
  sowie Industrievertreter
• Konsens über Notwendigkeit der Bündelung der
  isolierten deutschen GRID-Aktivitäten
• Konsens über die Notwendigkeit eines nationalen
  Förderprogramms

11
D-GRID Ziele

• Etablierung eines e-Science-Frameworks
• Bündeln der Aktivitäten, um Synergiepotenziale
  für globale, verteilte und neuartige
  Wissenschaftskollaborationen auf der Basis
  internetgestützter Dienste freizusetzen
• D-Grid Strategiepapier http//iwrwww1.fzk.de/dgri
  d/intern2/D-Grid_Strategie_17-12-03b.pdf
• D-Grid Grundsatzerklärung
• http//iwrwww1.fzk.de/dgrid/intern2/MoU_DGRID20v
  3.pdf

12
eScience-Framework
13
D-GRID Maßnahmen

• Etablierung eines E-Science-Kompetenznetzwerkes
• Bereitstellen von Ressourcen und einschlägigen
  Knowhow
• Entwicklung von Anwendungszenarien Wissenschaft
  und Industrie
• Forschung und Entwicklung von Grid-Systemen
• Entwicklung von Grid-Software
• Kooperation mit internationalen Forschungs- u.
  Industrieprojekten
• Schaffung einer nachhaltigen Basisinfrastruktur
• Etablierung von e-Science-Pilotprojekten
• ? Erzielung eines nationalen Förderprogramms als
  Leitinnovation

14
D-GRID Organisation, Aufgaben

• Lenkungsausschuss (LA) Hegering (LRZ), Hiller
  (AWI), Maschuw (FZK, GridKa), Reinefeld (ZIB),
  Resch (HLRZS)
• Mandat nationale und internationale Vertretung
  der deutschen GRID-Community
• Bildung von Arbeitskreisen
• Organisation von Communities
• Erstellen des wissenschaftlich-technischen
  Programms bis Sommer 2004

15
D-GRID bisheriges Vorgehen

• Freie Nennung von Themen
• Fragebogenaktion
• getrennt nach Anbietern, Entwicklern, Nutzern
• Fragen nach
• Communities
• Grid-fähigen Applikationen
• benötigten Basisdiensten, Ressourcen
• offene Problemen, Erfahrungen, Wünschen
• Mitwirkungsmöglichkeiten
• Bildung von 5 Arbeitskreisen und 6 Communities

16
D-GRID Arbeitskreise (1)

• AK1 Kooperationsmodelle für den Betrieb
• Bestandsaufnahme verfügbarer Ressourcen
• Abrechnungsmodelle für Nutzung von Ressourcen ,
  Ressourcenbewertung
• Rechte für Ressourcennutzung
• Weitere rechtliche und organisatorische
  Fragestellungen
• Bestandsaufnahme von Organisationsformen in
  Communities (im Sinne einer virtuellen
  Organisation)
• AK2 Middleware und Services
• Bestandsaufnahmen vorhandener Middleware
• Interoperabilitätsanforderungen an
  Middleware-Komponenten
• Bestimmung des Bedarfs für Sicherheitsinfrastruktu
  ren für D-Grid (Security, AAA, VC, Directory,
  Roaming)
• Resourcebroker und weitere Dienste
• Beschreibungssprachen, Modelling

17
D-GRID Arbeitskreise (2)

• AK3 Management-Methoden und Autonomic Computing
• Rahmenbetriebsstrukturen für Dienste und
  Middleware- und Service Ebene (z.B. SLAs,
  Support- und Operationszentren, Einbindung in
  vorhandene Infrastrukturen wie z.B. RZ bei
  Anwendern), auch Forschungsaufgaben hierzu
• Qualitätsmanagement
• Methoden für Self-Management, Self Healing von
  Ressourcen und Diensten im Netz
• AK4 Netz
• Bestandsaufnahme existierender Netzdienste und
  protokolle (G-WiN u.a.)
• Bestimmung neuer gridspezifischer Netzdienste
• Bestimmung der qualitativen und quantitativen
  gridspezifischen Volumenbedarfe
• Performance Monitoring

18
D-GRID Arbeitskreise (3)

• AK5 Daten- und Informationsmanagement
• Langzeitarchivierung
• Metadaten, semantische Methoden und
  Informationsdienste
• verteilte gemeinsame Dateisysteme
• Massendatenverwaltung
• LA Lenkungsausschuss bearbeitet
• Definition einer Aufgabenstellung (für das
  Arbeitsprogramm) zur Verbreitung der D-Grid-Idee
• Maßnahmen zur Gewährleistung der Nachhaltigkeit
  der Grid-Entwicklungen
• Weiterbildungsbedarf zu Grid-Services/Middlewaredi
  ensten
• Erarbeitung von Vorschlägen zur Struktur des
  e-Science Kompetenznetzwerkes

19
D-GRID Communities

• C1 Astro-und Teilchenphysik
• C2 Computational Science, Ingenieurwesen (NG)
• C3 Medizin und Bioinformatik (NG)
• C4 Klimaforschung und Earth Sciences (NG)
• C5 Hoch- und Höchstleistungsrechenzentren (AG)
• C6 Wissenschaftliches Informationswesen (NG, AG)
• NG Nutzergruppe
• AG Anbietergruppe

20
Sprecher der AKs und NGs

• Arbeitskreis
• AK1 Prof. Hoffmann (DWD Offenbach), Herr Mickel
  (FZK)
• AK2 Prof. Schwiegelshohn (U Dortmund), Dr.
  Pattloch (DFN)
• AK3 Dr. Eickermann (FZJ), Dr. Schwichtenberg
  (FhGSCAI)
• AK4 Herr Ullmann (DFN), Dr. Heinke (TU Dresden)
• AK5 Dr. Lautenschlager (MPI HH), Dr. Hemmje (FhG
  IPSI Da)
• Nutzer-/Anbietergruppen
• C1 Prof. Mättig (U Wuppertal), Herr Kasemann
  (DESY)
• C2 (noch offen)
• C3 Prof. Rienhoff (U Göttingen)
• C4 Dr. Budich (MPI HH)
• C5 Dr. Küster (HLRS Stuttgart)
• C6 Prof. Mehlhorn (MPI Saarbrücken)

21
D-GRID Techn.-wiss. Programm

• Aufbau der Erstversion des Dokuments
• Communities Aufgabenstellung und Bedarf für
  D-GRID
• D-GRID Dienste der ersten Realisierungsversion
• Organisatorische Fragestellungen
• Forschungsaufgaben
• Umfang ca. 100 Seiten, Länge und Präzisierung der
  Darstellung orientieren sich etwa an der Roadmap
  des DoE-Programms

22
D-GRID Hintergrundpapiere

• Strategiepapier D-Grid Auf dem Weg zur
  e-Science in Deutschland
• http//iwrww1.fzk.de/dgrid/intern2/D-Grid_Strateg
  ie_17-12-03b.pdf
• DoE Science Networking Challenge Roadmap to 2008
• http//www.es.net/hypertext/welcome/Roadmap/Road
  map-TOC-Sect202.pdf
• Next Generation Grids. European Grid Research
  2005-2010
• http//www.cordies.lu/ist/grids/index.htm
• Fox, Walker e-science GAP Analysis
  http//www.grid2002.org/ukescience/gapresources/Ga
  pAnalysis30June03.pdf

23
D-GRID Weiteres Vorgehen

• Febr./März/April Sitzung der AK und NG/AG
• Darstellung der D-Grid Initiative auf der GGF in
  Berlin (10.3.04) durch Ministerin Bulmahn
• Abschluss der AK-, NG/AG-Arbeiten (30.4.04)
• Gemeinsamer Workshop der Sprecher mit LA und
  externen Experten im Mai
• Vorlage des Arbeitsprogramms der e-Science
  Initiative (Mai)
• Vorstellung des Arbeitsprogramms und des
  Förderprogramms des BMBF durch Ministerin Bulmahn
  am 15.6.04
• Projektauschreibung (ab Juli 04)

24
D-GRID Position BMBF/Zeitplan

• erwartet gemeinsames Commitment, gemeinsame
  Trägerschaft und Finanzierung durch
  Wissenschaft, Wissenschaftsorganisationen,
  Wirtschaft und Politik
• Förderung von 2005 -2008 10-20 Mio/a für
  Infrastruktur und Middleware
• Ausschreibung Mitte 2004, Förderung ab 2005
• GGF 10.3.04 Bekanntmachung durch Ministerin
  Bulmahn
• 15.6.04 20-Jahrfeier DFN Vorstellung des
  Programms

25
D-GRID Aufgaben DFN-Verein

• Bereitstellung der Netzinfrastruktur G-WiN (neue
  Netzdienste)
• Aufbau und Betrieb von Basisdiensten der
  Middleware-Ebene, wie z.B. PKI, AAA
• Mitarbeit bei Definition eines GRID-Arbeitsprogram
  mes
• (insbesondere AK2, 3, 4)

26
GRID Infrastruktur im DFN

• Aufgaben für Rechenzentren
• Aufbau von GRID-Know How vor Ort
• Support für Nutzer bei Einführung von
  Middlewarediensten
• Bereitstellen von Bausteinen für
  Middlewaredienste (z.B. Nutzerverzeichnisse)
• Erbringung der lokalen Dienste für GRIDs