Sin ttulo de diapositiva

1
Infraestructuras de Accounting en EGEE
2
sumario presentación

• Descripción general del CESGA
• Cálculo INTENSIVO
• Almacenamiento
• Accounting en el Cesga
• Accounting en EGEE

3
(No Transcript)
4
misión

• Promover servicios comunes de apoyo a la
  investigación, desarrollo en innovación en el
  ámbito de las tecnologías de la información y de
  las comunicaciones, en Galicia y en la comunidad
  investigadora del CSIC.
• Promover acciones tendentes a la innovación y a
  la mejora en la prestación de servicios de
  cálculo intensivo y comunicaciones avanzadas, asi
  como actividades encaminadas a promover
  soluciones innovadoras en el mundo de la Sociedad
  del Conocimiento

5
personalidad jurídica

• Fundación Pública
• Empresa Pública

socios y patronatos

• Xunta de Galicia 70
• CSIC 30

6
usuarios

• Universidades gallegas
• Centros de investigación de la Xunta de Galicia
• Centros y laboratorios del CSIC
• Departamentos de ID de empresas
• Centros de investigación europeos
• Otras instituciones (centros tecnológicos,
  hospitales, fundaciones,...)

7
(No Transcript)
8
(No Transcript)
9
(No Transcript)
10
11 años de historia el cálculo intensivo

1998
1993
1999
VP 2400
HPC 4500
AP 3000
VPP 300
STORAGETEK
51 TERABYTES
12 GFLOPS
2,5 GFLOPS
14,1 GFLOPS
9,6 GFLOPS
2004
SVG
512 GFLOPS
11
Cluster DELL
NUEVO SERVIDOR DE CÁLCULO Throughput 2004 80
procesadores P4_at_3.2GHz, 1MB cache, 1 GB memoria,
160GB disco Interconexión Gigabit, Total
512GFlops pico, 80GB memoria, 12TB disco
12
infraestructura almacenamiento
13
evolución de la capacidad de cálculo instalada en
el cesga
14
evolución del consumo de horas de cpu en cesga
15
utilización de los recursos de cálculo
16
Necesidad de acounting
Qué se usa (Sistemas, nodos, software,
etc...) Cómo se usa Quién lo usa Cuál es el
comportamiento? Tiempos de espera en cola,
niveles de disponibilidad, calidad esperada!,
etc... Cerrar el lazo con los SLA. Ejemplos si
un usuario/institución está saturando las colas,
penalizar (menos prioridad). Determinación de la
eficiencia de las políticas de distribución de
trabajos, etc... Hacer un coste realista del
consumo (no es suficiente el número de horas
consumidas, sino el número de horas en qué
arquitectura, y no sólo el procesador, sino tener
en cuenta también la memoria, sistema de E/S,
etc...)
17
Arquitectura de acounting en el cesga
Información proveniente de Base de datos de
usuarios (login, departamento, proyecto,
etc...) Ficheros logs de sistemas de colas
(actualmente LSF, PBS, SGE) Consumo de los
sistemas (ficheros acct) Monitorizacion del los
sistemas (ficheros sa) Generamos base de datos
(MySQL) de consumos/trabajos Scripts de consulta
en PHP Consultas web
18
Distribución por instituciones
19
Tiempo medio de espera en cola
20
Porcentaje de ocupación
Servidor de cálculo HPC320, año 2003
21
Número de procesadores solicitados (jan-aug -
2004)
22
Memoria solicitada (jan-aug - 2004)
23
Tiempo solicitado (jan-aug - 2004)
24
Espacio en disco solicitado (jan-aug - 2004)
25
Arquitectura de accounting
Accounting
Resource metering getting info about resource
usage
Storage Element
Computing Element
26
Arquitectura de accounting
Accounting
Reports about resource usage per user / VO/
resource
Storage Element
Computing Element
27
Arquitectura de accounting
Resource pricing
Accounting
Storage Element
Computing Element
Resource owner
28
Arquitectura de accounting
Resource pricing
Cost computation
Accounting
Storage Element
Computing Element
Resource owner
29
Quién

• Desarrollado para el GOC en el RAL
• John Gordon y Dave Kant
• CCLRC e-Science Centre, UK
• EGEE JRA1 IT-CZ cluster homepage
• http//egee-jra1-wm.mi.infn.it/egee-jra1-wm
• EGEE JRA1 (middleware activity) homepage
• http//egee-jra1.web.cern.ch/egee-jra1

30
Arquitectura de accounting

• Dos partes diferenciadas
• La infraestructura de recogida y tratamiento de
  la información de accounting basada en R-GMA y
  que concentra todos los datos en un punto central
• Un portal web para permitir la visualización de
  distintos tipos de informes en funcion de las
  demandas
• Basado en R-GMA, cada site debe instalar un nodo
  local R-GMA MON para almacenar la información de
  accounting
• Soporta PBS (lcgpbs, pbspro, Vanilla pbs,
  openpbs, torque) y BQS. Trabajando en soportar
  LSF. CESGA tratará de integrar SGE
• Se deben almacenar los logs de batch, gatekeeper
  y mensajes del sistema
• Se asume que el ID del grupo utilizado para
  ejecutar los trabajos del usuario es el nombre de
  la VO (pendiente de confirmar)
• Asume que el cluster es homogéneo.
• Páginas web de accounting en el GOC están siendo
  desarrolladas http//goc.grid-support.ac
  .uk/gridsite/accounting/index.html
• Estará incluído en el próximo SLC3

31
Arquitectura de accounting
La información se obtiene de 3 logs Gatekeeper
Records contain DN, GramScriptJobID and the
manager type (lcgpbs, fork, lcglsf). Gatekeeper
logs are used to distinguish jobs that are
submitted through the grid (grid jobs) from jobs
submitted locally (non-grid jobs) on the fabric.
Messages logs contain mappings between
GramScriptJobID and LocalJobID of Batch System.
Batch Logs do not distinguish between grid jobs
and non-grid jobs. Batch Logs E (PBS) or
JOB_FIINISH (LSF) and LocalJobID, LocalUser,
LocalGroup, StartTime, StopTime, ExecutingHost,
CPUTime, MemoryUsage, Exit Status,
32
Arquitectura de accounting
LCG SITE
LCG SITE
Site GIIS
CE
MON
RGMA
Batch Log
Data Sources
GK Log
messages
33
Arquitectura de accounting
Interface para elegir la visualización de los
datos VO, ventana temporal y Region
BaseCpuSeconds agregados en EGEE
Cada Region, por VO, por Mes
Otras Distribuciones CPU Normalizada Nº de
trabajos
http//goc.grid-support.ac.uk/gridsite/accounting/
index.html
34
Actividad prevista en el Cesga en accounting
Dar soporte a la federación Portar a otros
sistemas de colas Clusters heterogéneos Otras
plataformas Accounting de sistema Accounting de
almacenamiento Integración con políticas
SLA Colaborar en el desarrollo
35
Gracias!!
Carlos Fernández, carlosf_at_cesga.es