Presentacin de PowerPoint

1
Seminarios Divulgativos de Informática al PDI
Introducción a las colas de Cálculo Intensivo en
Mulhacén.
Centro de Servicios de Informática y Redes de
Comunicaciones
2
ÍNDICE
1. APROXIMACIÓN A MULHACÉN Y A SU MODO DE
TRABAJO. 2. INFORMACIÓN SOBRE LAS COLAS
DEFINIDAS. 3. CÓMO ENVIAR TRABAJOS. 4. COMANDOS
UTILES DE LSF. 5. RESUMEN.
3
1. APROXIMACIÓN A MULHACÉN Y A SU MODO DE
TRABAJO.
1.1 Descripción del equipo de cálculo intensivo.
1.1.1 Qué es Mulhacén. 1.1.2 Qué
se puede hacer en él. 1.2 El modo de trabajo en
Mulhacén LSF y las colas de
trabajos. 1.3 Cómo empezar. 1.3.1 Abrir
una cuenta en M. 1.3.2 Acceso y
utilización de M. 1.4 Ejemplo.
4
1.1 Descripción del equipo de cálculo intensivo.
1.1.1 Que es Mulhacen.
Marca Silicon Graphics Computer Sistem Modelo
Origin 3400 Características 32 CPUs a 600 Mhz y
una memoria RAM 32GB Espacio total disco
500GB Sistema Operarivo IRIX 6.5 Sistema de
gestión de colas LSF
5
Que se puede hacer con Mulhacén ?
Grandes requerimientos de MEMORIA
Grandes requerimientos de CPU
CÁLCULO INTENSIVO
Otros
Aplicaciones
Programas ejecutables.
1.1.2 Descripción del equipo de cálculo intensivo.
6
Trabajo
bsub
CPUs
Cola 1
30 de las 32 CPUs están dedicadas a la ejecución
de los trabajos batch .
Trabajos
LSF
Cola 2
Sistema operativo. IRIX 6.2 ( UNIX)
2 CPUs dedicadas a los trabajos interactivos.
Cola 3
LSF (Load Share Facility) Gestiona la ejecución
de programas A través de las COLAS.
Listas de espera de distintas características. Se
gún en la que se encuentre un trabajo podrá
utilizar unos recursos u otros.
1.2 El modo de trabajo en Mulhacén.
7
1.3 Cómo empezar.

• Información general en la página web del
  Servicio de informática.
• www.ugr.es/calculointensivo

• operador_at_ugr.es
• Nombre
• Login
• Nombre del grupo de investigación al que
  pertenece.
• Nombre del
• investigador principal del grupo.

• Hay que tener cuenta en Mulhacén

• Abrir una sesión en Mulhacen telnet, ssh ...

8
1.3 Cómo empezar.

• Empezar a trabajar
• En tu directorio /home/nombreusuario
• Espacio para trabajar 100 MB.
• En el directorio /userdisk/grupoinvestigacion
• Cada grupo de investigación puede tener un
  directorio casi sin restricción de espacio.
• Se trabaja más rápido que desde el /home del
  usuario.
• Se solicita por escrito al Servicio de
  Informática.

9

• Se puede utilizar un disco llamado /scratch para
  el almacenamiento temporal de datos
• Se borran diariamente archivos no consultados en
• 10 días y mayores de 8MB
• Se borran archivos a los que no se han accedido
  en
• 30 días.

• Mandar trabajos a ejecutar a una cola de
  trabajos (programas ejecutando
• se de manera no interactiva).

10
1.4 Ejemplo.

• Una vez que tiene acceso a Mulhacén nos
  conectamos

telnet mulhacen.ugr.es
11
(No Transcript)
12

• Para obtener información info

• Información general
• info MULHACEN
• info LSF
• info COLAS

13
2. INFORMACIÓN SOBRE LAS COLAS DE MULHACÉN.
2.1 Descripción de las colas habilitadas. 2.2
Obtención de información acerca de las colas
bqueues. 2.3 Ejemplos.
14
2.1 Descripción de las colas habilitadas.
Tecleando info COLAS obtenemos información
general sobre las colas que hay disponibles
Nombre colas.
CPUs utilizables.
Tiempo max de ejecución
Prioridad.
Nº max procesos por cola.
Máximo número de procesos por usuario que admite
una cola.
Memoria max por proceso.
Número max de CPUs para procesos paralelos.
15
2.2 Obtención de información sobre las colas
bqueues.
bqueues
Comando de LSF para obtener información sobre las
COLAS
Prioridad
Trabajos en ejecución mismo usuario.
Trabajos pendientes
Trabajos en que admite la cola.
Estado
Trabajos enviados a la cola
Trabajos en ejecucióp
Trabajos suspendidos
16
bqueues -l cola

• Muestra información detallada de la cola llamada
• cola.

Memoria límite que puede usar un trabajo enviado
a esa cola.
17
Estadística
Usuarios
18
3. COMO ENVIAR TRABAJOS A MULHACÉN.
3.1 Elección de la cola. 3.1.1 Información de
utilidad. 3.1.2 Estados de ejecución. 3.2 Cómo
enviar los trabajos bsub. 3.3 Ejemplos.
19
3.1 Elección de la cola.
3.1.1 Información de utilidad.

• Cada cola definida tiene tiene una prioridad a
  la hora de
• ser ejecutados los trabajos que en ella
  esperan.
• Cuanto menos capacidad de memoria asignada para
  los
• trabajos de esa cola mayor prioridad.
• Cuanto menor tiempo de ejecución tenga asignada
  la cola para
• sus trabajos mayor prioridad tendrá dentro del
  sistema.
• Enviar los trabajos a la cola de menor capacidad
  que los admita y
• que a la vez disponga de los recursos
  adecuados para la correcta
• ejecución de nuestro trabajo.

20
3.1.2 Estados de ejecución.
bsub
PEND
RUN
DONE
bstop
Sobrecarga en Mulhacén
bresume
bkill o error
bstop
SSUSP
PSUSP
bkill
bresume
USUSP
bkill
EXIT
bkill
21
3.2 Cómo enviar los trabajos bsub
bsub trabajo
Envía el ejecutable llamado trabajo a ser
ejecutado
Programa ejecutable
bsub opciones nombre del trabajo
- q media
Envía el trabajo a la cola llamada media.
- o fsalida
Escribe la salida estándar del trabajo en el
fichero fsalida.
- e ferror
Escribe el error estándar del trabajo en el
fichero ferror.
- i fentrada
El trabajo toma como entrada estándar el fichero
fentrada.
- u user
Envía un e-mail a la dirección indicada user .
- J otronombre trabajo
Envía trabajo ejecutar y le da el nombre
otronombre.
22
3.3 Ejemplos.
bsub miprograma
Envía a ejecutar miprograma a la cola media.
Envía a ejecutar miprograma a la cola muycorta.
bsub -q muycorta miprograma
bsub -q muycorta -J trab1 -e error.txt -o
salida.txt miprograma

• Manda miprograma a la cola muycorta, le asigna
  el
• nombre trab1 y los resultados de salida del
  programa los
• manda a salida y si se produce un error manda
  información
• a error.

23
bsub -q muycorta -J mitrabajo consumir2

• Nos devuelve el número identificador del trabajo
  5202

24
bsub -q muycorta -e ficherror -o fichsalida
consumir2
25
4. COMANDOS UTILES DE LSF.
4.1 Comandos de información. 4.1.1 bjobs
4.1.2 busers 4.2 Comandos de actuación.
4.2.1 bkill 4.2.2 bswitch 4.2.3
bstop 4.2.4 bresume
26
4.1 Comandos de actuación.
4.1.1 bjobs
Muestra información acerca de los trabajos
enviados.
bjobs opciones

• Por defecto, muestra información sobre tus
  trabajos pendientes,
• en ejecución o suspendidos.

- p
Muestra los trabajos pendientes y la causa de su
estado.
- r
Muetra los trabajos que se están ejecutando.
- s
Muestra los trabajos que están suspendidos.
27
- l
Muestra información sobre los trabajos en formato
amplio
Muestra información sobre el trabajo con
identificador ID_trab.
bjobs ID_trab
Muestra información sobre tus trabajos
llamado nombretrab.
bjobs -j nombretrab
Muestra información sobre los trabajos
pertenecientes al usuario nombreusuario o
pertenecientes a todos los usuarios.
bjobs -u nombreusuario all
28
Ejemplos
29
4.1.2 busers
Muestra información acerca de los trabajos
enviados.
busers opciones

• Por defecto, muestra información sobre el
  usuario que ejecuta el
• comando.

all
Muestra información todos usuarios
busers nombreus
Muestra información el usuario nombreus
30
Ejemplo
31
4.2 Comandos de actuación
4.2.1 Para hacer terminar un trabajo bkill
bkill ID_trab

• Manda una señal para hacer salir de la cola a un
  trabajo que previamente hemos
• enviado.

Elimina trabajos de la cola llamada media. Por
defecto elimina el último trabajo enviado a esa
cola. Con 0 los elimina todos.
- q media
bkill - q media 0
- J nombretrab
Elimina el trabajo con nombre nombretrab
32
Ejemplos
33
4.2.2 Para cambiar un trabajo de cola bswitch
bswitch cola_destino ID_trab

• Cambia de cola el trabajo con identificador
  ID_trab ,
• poniendolo en la cola cola_destino

- q media
Cambia el último( o todos con 0) trabajo enviado
a la cola media a la cola de destino
cola_destino.
bswitch - q media cola_destino
bswitch - q media cola_destino 0
Cambia el trabajo llamado nombretrab a la cola de
destino cola_destino.
- J nombretrab
bswitch - J nombretrab cola_destino
34
Ejemplos
35
4.2.3 Para suspender un trabajo que está activo
bstop
bstop ID_trab

• Suspende un trabajo cuyo identificador es
  ID_trab.

- q media
Solo los trabajos de la cola media.
- J nombretrab
Suspende el trabajo cuyo nombre es nombretrab.
- a nombretrab
Suspende todos los trabajos con nombre nombretrab
.
36
Ejemplos
37
4.2.4 Para activar un trabajo bresume
bresume ID_trab

• Manda una señal para que el trabajo con
  identificador ID_trab ,
• continue en su estado anterior, tras haber sido
  suspendido por el
• usuario.

- q media
Solo los trabajos de la cola media.
bresume -q media
Activa el último trabajo que hayamos enviado a la
cola media.
bresume -q media 0
Activa todos los trabajos de la cola media.
- J nombretrab
Los trabajos con nombre nombretrab.
38
Ejemplos
39
5. RESUMEN.

• Para obtener información general info seguido
  de
• COLAS
• MULHACEN
• LSF
• Para obtener información sobre las colas
  bqueues.
• Para obtener información sobre tus trabajos
  bjobs.
• Para enviar trabajos a una cola bsub.
• Información en la red
• www.ugr.es/informatica/urlseminarios.htm
• http//helix.nih.gov/docs/online/lsf-4.2/ref_4.2/r
  ef_htmlIX.html

40
URL interesante www.ugr.es/informatica/urlseminar
ios.htm
www.ugr.es Servicios Centro
de Servicio de Informática y Redes de
Comunicaciones Oferta de Servicios
Seminarios Divulgativos al PDI.
41
Otros seminarios en curso Uso de las Aulas de
Docencia. Nuestra Página Web. I. Nuestra Página
Web. II. Transmisión de Ficheros en Internet.
Modo Comando. Transmisión de Ficheros en
Internet. Modo Gráfico. Cree su Página
Web. Proteja su PC de VIRUS. Correo Electrónico
de UGR. WEBMAIL. Conexión de portátiles a
RedUGR. Aulas de Docencia Presencial
(ADP). Consejos BÁSICOS de SEGURIDAD en Windows
XP. Seminarios en planificación Servicio Acceso
Externo VPN. Tablon de Docencia.
42
Flexibilidad de reserva de plaza.
Sugerencias. Propuestas.
43
Seminarios Divulgativos de Informática al PDI
Utilización de las colas de trabajos en Mulhacén.
Centro de Servicios de Informática y Redes de
Comunicaciones.