Iniciativas GRID en la Red Acad

1
Iniciativas GRID en la Red Académica Española
GT RedIRIS 2002

• Javier Sánchez
• IFIC (Instituto de Física Corpuscular)
• CSIC-Universitat de València

2
Indice

• 1. TestBed Granja GOG
• 2. Actividades GRID
• 3. Instalación y configuración del TestBed
  LCFG

3
IFIC Instituto de Física Corpuscular

• El IFIC es un centro mixto CSIC - Universitat de
  València.
• Líneas de investigación
• Física de partículas y nuclear, en sus facetas
  experimental y teórica.
• Física médica.
• Astrofísica.
• Experimentos del CERN en los que participa
• DELPHI (LEP)
• ATLAS (LHC)
• ISOLDE

4
GoG Grupo de Ordenadores para el GRID

• Es una granja de ordenadores para la
  implementación de tecnologías GRID
• Fruto de la colaboración entre el CSIC y la
  Universitat de València
• Institutos involucrados
• IFIC Instituto de Física Corpuscular (CSIC-UV)
• ICMOL Instituto de Ciencia Molecular (UV)

5
Granja GoG

• 192 PCs Athlon (134 IFIC 58 ICMOL)
• Placa base con VIA KT133A KT266A
• CPU AMD Athlon K7 _at_ 1.2 1.4 GHz
• RAM 2x512 Mbytes (SDRAM DDR SDRAM)
• HD 40 Gbytes
• NIC 3COM 905CX RealTek RTL8139 (Fast Ethernet
  PXE)
• Chasis 2U

6
Granja GoG

• Los equipos están distribuídos en 9 armarios
  estándar de comunicaciones (800x600 mm)
• Cada uno tiene 22 PCs 1 conmutador
• Cada PC tiene instalado una copia de Redhat Linux
  6.2 (usando LCFG).

7
Granja GoG
PC Athlon en chasis 2U
8
Granja GoG
9
Granja GoG
10
GoG Red local
11
GoG Red local

• Todos los nodos tienen direcciones IP privadas en
  la red 192.168.4.0/22
• entorno seguro
• Los equipos de comunicaciones tienen direcciones
  IP públicas en la red 147.156.149.64/26
• pueden ser monitorizados y actualizados desde el
  centro de cálculo de la Universidad

12
GoG Red local

• Las comunicaciones externas van a través de gog01
  en el que se aplican reglas de translación de
  direcciones (NAT)
• Las conexiones desde los nodos trabajadores a
  nodos públicos se permiten usando enmascaramiento
  con algunas restricciones, por ejemplo FTP
  necesita trabajar en modo pasivo.
• Conexiones desde los nodos externos a los
  trabajadores requieren que una regla previa de
  NAT sea configurada previamente.

13
GoG Monitorización

• GoG Heartbeat
• Los emisores (nodos trabajadores) envían paquetes
  de multicast con información y estado sobre el
  nodo en formato xml a intervalos de tiempo (60
  s).
• Los receptores recogen la información para
  construir estadísticas o representar el estado de
  la granja de forma gráfica a un operador.
• pros
• sin conexiones
• varios receptores pueden funcionar
  simultáneamente.
• contras
• todo el mundo puede leer los paquetes.

14
GoG Monitorización

• Ventana principal
• estado vivo/muerto
• uso de cpu
• uso de memoria
• uso de disco
• (la figura muestra la red del IFIC, no la granja)

15
GoG Monitorización

• Información del nodo
• muestra la información enviada por el cliente
• obtenida básicamente de /proc

16
Actividades GRID

• Proyecto europeo DataGRID TestBed internacional
• Proyecto europeo CrossGRID
• Aplicaciones interactivas en Altas Energías
• Predicción atmosférica y modelado de
  contaminación atmosférica
• Gestión de recursos
• Banco de pruebas
• Soporte de usuario
• Acción especial
• Proyecto trienal

17
ATLAS Data Challenge

• Propósito
• Validar el modelo de computación, de software y
  datos.
• Ejercitar y evaluar las herramientas e ideas GRID
• Proporcionar a los físicos datos simulados para
  preparar su informe técnico para final de 2002

18
ATLAS Data Challenge

• Como ATLAS todavía esta en fase de construcción
  la mejor manera de probar este modelo es con
  datos simulados.
• Secuencia del proceso

• Generación

• Simulación

• Reconstrucción

• Análisis

• Detector

19
ATLAS Data Challenge
20
ATLAS Data Challenge

• Próximo reto
• Generar 106 sucesos en Valencia (10 de la
  producción de toda la colaboración).
• Compartir el resultado de esta producción con el
  resto de la colaboración usando las herramientas
  GRID.
• Instalar y configurar el middleware para que la
  granja coopere con otros nodos del GRID

21
ATLAS Data Challenge

• Simulación
• CPU 400 s/suceso (Athlon_at_1GHz)
• HD 2 MB/suceso
• Reconstrucción
• CPU 90 s/suceso
• HD 0.5 MB/suceso
• Generar 106 sucesos implica
• CPU 60 días en 100 PCs
• HD 2.5 TBytes

22
ATLAS Data Challenge

• Qué ejercitaremos ?
• Almacenamiento masivo de datos
• Elementos de almacenamiento (Storage Elements)
  RAID en IDE con GigabitEthernet
• Necesidad de sistemas jerárquicos (ej CASTOR)
• Accesibilidad remota
• datos (GridFTP, data replica, etc...)
• computación (IS, RB, QoS)
• Gestión de la infraestructura local

23
LCFG Introducción

• El LCFG es una herramienta para la instalación,
  configuración y mantenimiento de PCs con Linux.
• Ha sido desarrollada por la Universidad de
  Edimburgo (http//www.lcfg.org)
• Está siendo modificado para su uso en el proyecto
  europeo DataGRID
• Adoptada por el proyecto CrossGRID

24
LCFG Arquitectura

• La configuración de un nodo se obtiene
  compilando los ficheros fuente.
• El cliente es notificado y la obtiene via HTTP
• Los componentes en el cliente crean los
  ficheros de configuración locales

25
LCFG Configuración

• La configuración de un nodo se expresa mediante
  una lista de parejas clave valor
• auth.rootpwd A1QFcTuAyPgTI
• Primeramente es procesada por el preprocesador de
  C (cpp)
• permite emplear defines
• permite incluir otros ficheros
• Si la clave va precedida de un signo , significa
  que sustituye el valor previo.
• La configuración de un nodo puede incluir
  configuraciones genéricas que son adaptadas al
  caso particular.

26
LCFG Instalación de paquetes

• La configuración posee la referencia a un fichero
  que contiene la lista de rpms que serán
  instalados en el cliente
• La lista de rpms es preprocesada por cpp.
• El signo significa que se sustituye una
  anterior descripción
• El componente updaterpms se encarga de mantener
  los paquetes de software al día, instalando,
  borrando o actualizándolos de acuerdo con la
  lista. (Los rpms han de estar disponibles para
  el cliente vía NFS).

27
LCFG Instalación de un nuevo nodo

• El cliente arranca de un disquete o remotamente
  una versión de linux con root en NFS.
• Se obtiene la configuración del nodo del servidor
  mediante http usando el servidor que se
  especifica en un tag de DHCP
• El componente update particiona el disco
• El componente updaterpms instala el software
  requerido
• El sistema rearranca y se configura de forma
  normal invocando los distintos componentes

28
LCFG Puesta en marcha

• Servidor LCFG
• Servidor NFS ofrece los rpms y el sistema de
  arranqe inicial
• Servidor WWW ofrece las configuraciones
• Servidor DHCP
• LCFG necesita tags especiales
• Arranque remoto
• tftp o servidor de arranque PXE para obtener la
  imagen de linux

29
Resumen

• El IFIC participa en las iniciativas GRID tanto
  nacionales como europeas
• Se está trabajando en la creación de una
  infraestructura de cálculo local accesible a
  través del GRID
• El Data Challenge de ATLAS proporciona una
  aplicación real sobre la que pueden probarse los
  servicios y herramientas GRID

30
Granja GoG
31
Granja GoG