Mantenimiento proactivo de Blackboard

1
Mantenimiento proactivo de Blackboard

• 10 reglas de oro para asegurar el rendimiento y
  disponibilidad

Pablo Langa, Consultant, International Services
2
Agenda

• 10 reglas de oro para asegurar el rendimiento y
  disponibilidad de Blackboard

• We may make statements regarding our product
  development and service offering initiatives,
  including the content of future product upgrades,
  updates or functionality in development.  While
  such statements represent our current intentions,
  they may be modified, delayed or abandoned
  without prior notice and there is no assurance
  that such offering, upgrades, updates or
  functionality will become available unless and
  until they have been made generally available to
  our customers.

3
1

• ENTORNOS DE TEST Y ACEPTACIÓN

4
ENTORNOS DE TEST Y ACEPTACIÓN
Regla de Oro Es necesario disponer de entornos
de test y aceptación para poder introducir
cambios y nuevos servicios con seguridad Problemá
tica - Falta de recursos
Soluciones
Asesoramiento Backup/Restore Técnicas de
Virtualización (VMWare, VirtualBox, Xen, Zones,
etc) Establecimiento de procesos y
responsabilidades operativas Hosting
5
2

• EL SISTEMA OPERATIVO
• NO CUMPLE ONE SIZE FITS ALL

6

• EL SISTEMA OPERATIVO
• NO CUMPLE ONE SIZE FITS ALL

Regla de Oro SO configurados por defecto de
manera estándar. SO debe ser personalizado para
dar soporte a un entorno altamente transaccional
como Bb Problemática - Falta de conocimiento
Soluciones
Windows TCPTimedWaitDelay, DEP,
Swap Linux/Unix TCP stack, File Handlers, Swap
7

• EL SISTEMA OPERATIVO
• NO CUMPLE ONE SIZE FITS ALL

Start gt Run... gt regedit HKEY_LOCAL_MACHINE\Syste
m\CurrentControlSet\Services\tcpip\Parameters
Add Value gt Ok Value Name TcpTimedWaitDelay
Data Type REG_DWORD Value 30-300 (decimal)
time in seconds Default 0xF0 (240 decimal) not
in registry by default Description This
parameter determines the length of time that a
connection will stay in the TIME_WAIT state when
being closed. While a connection is in the
TIME_WAIT state, the socket pair cannot be
reused.
Modify /etc/sysctl.conf and issue
"/etc/rc.d/init.d/network restart" Decrease
the time default value for tcp_fin_timeout
connection net.ipv4.tcp_fin_timeout 30
Decrease the time default value for
tcp_keepalive_time connection net.ipv4.tcp_keepali
ve_time 1800 Turn off the tcp_window_scaling
net.ipv4.tcp_window_scaling 0 Turn off the
tcp_sack net.ipv4.tcp_sack 0 Turn off the
tcp_timestamps net.ipv4.tcp_timestamps 0 For
situations where you have high-bandwidth/high-late
ncy links, the Window Scaling, SACK and Timestamp
options should remain enabled(1).
8
3

• MANTENIMIENTO DE LOGS
• Y ELEMENTOS DE AUDITORÍA

9

• MANTENIMIENTO DE LOGS
• Y ELEMENTOS DE AUDITORÍA

Regla de Oro Logs y tablas de auditoria pueden
crecer desproporcionadamente afectando el
rendimiento de la plataforma. Es necesario
asegurarse que estas entidades son limpiadas
periódicamente Problemática - Conocimiento de
producto
Soluciones
Asegurarse PurgeAccummulator funciona
correctamente Revisar el tamaño de la tabla
bb_bb60.Activity_accumulator Verificar el
número de registros en la tabla
bb_bb60.sessions con user_idnull Verificar el
tamaño de los logs en blackboard/logs
(RotateLogs.batsh) Repositorio de logs comun
para entornos de gran escala
10
MANTENIMIENTO DE LOGS Y ELEMENTOS DE AUDITORÍA
Blackboard/config/bb-tasks.xml.bb
lttask-entry name"bb.stats.purging"
version"60"gt lttask classname"blackboard.plat
form.tracking.PurgeApplicationTask"gt
ltproperty name"command-line" value"_at__at_bbconfig.ba
sedir_at__at_/tools/admin/Purg eAccumulator.sh" /gt
ltproperty name"days_to_keep" value"180" /gt
ltproperty name"delay" value"21600000" /gt
ltproperty name"dev_null" value"/dev/null" /gt
ltproperty name"period" value"86400000" /gt
ltproperty name"target" value"live" /gt
ltproperty name"xml.registered.delay"
value"100" /gt ltproperty
name"xml.registered.period" value"24" /gt
lt/taskgt lt/task-entrygt
11
4

• PERSISTENCIA DE SESIONES
• EN ENTORNOS DE ALTA CAPACIDAD

12

• PERSISTENCIA DE SESIONES
• EN ENTORNOS DE ALTA CAPACIDAD

Regla de Oro Bb requiere asegurar la
persistencia de la sesión en un mismo servidor de
aplicación para el correcto funcionamiento de
determinados sub-componentes de la
plataforma Problemática - Especificaciones de
producto
Soluciones
Asegurar afinidad de las sesiones Recomendación
de persistencia basada en cookies Igualar el
time_out de la sesión del balanceador a la sesión
de Bb SSL offloading si es posible en el
balanceador de carga
13
5

• HOUSEKEEPING

14

• HOUSEKEEPING

Regla de Oro Al igual que otras soluciones de
software empresarial, Bb se apoya en un conjunto
de actividades de mantenimiento para su correcto
funcionamiento Problemática - Conocimiento de
producto
Soluciones
Verificar espacio en disco Verificar espacio en
bbdd Verificar tamaño logs en bbdd Limpieza
directorios temporales (bbclean.batsh) Asegurar
funcionamiento de tareas en bb-tasks.xml.bb En
entornos de gran escala no duplicar tareas
relacionadas con el mantenimiento del conjunto de
la instalacion (por ejemplo purge_accumulator)
15
6

• APROVECHAMIENTO DEL
• HARDWARE

16

• APROVECHAMIENTO DEL
• HARDWARE

Regla de Oro Es necesario configurar OS/Bb para
maximizar los recursos hardware
disponibles Problemática - Conocimiento de
producto
Soluciones
Considerar limitaciones 32/64 bits Tomcat
clustering Virtualización Parametros de
rendimiento de Bb Java performance / Multi thread
Garbage Collection Stress test y monitorización
17
APROVECHAMIENTO DEL HARDWARE
18
7

• UN PASO MÁS ALLÁ
• DEL BACKUP

19

• UN PASO MÁS ALLÁ
• DEL BACKUP

Regla de Oro Generar un backup no es garantía
de que este funciona o pueda ser recuperado en un
tiempo razonable Problemática - Formalización
de procesos
Soluciones
Entrenamiento en actividades de
backup/restore Formalización de proceso y
asignación de responsabilidades Medir tiempos de
restore Comprobar periódicamente consistencia de
datos del backup
20
8

• LIBRO DE OPERACIONES

21

• LIBRO DE OPERACIONES

Regla de Oro El conocimiento acerca del estado,
funcionamiento y mantenimiento de Bb debe estar
registrado formalmente en un documento Problemáti
ca - Formalización de procesos
Soluciones
Control de cambios Identificación de
responsables Simplicidad en el contenido y
mantenimiento del documento
22
9

• MONITORIZACIÓN Y POST-ANÁLISIS
• DE LOGS

23

• MONITORIZACIÓN Y POST-ANÁLISIS
• DE LOGS

• Regla de Oro
• Es necesario un mantenimiento proactivo para
  minimizar el número de excepciones y garantizar
  una alta disponibilidad
• Problemática
• Formalización de procesos
• Infraestructura disponible

Soluciones
Inspección manual de logs Herramientas avanzadas
de monitorización (Qwest Foglight,Coradient,Up.T
ime) Filtrado de logs en busca de excepciones y
tiempos de respuesta exagerados
24
10

• RECURSOS HUMANOS

25

• RECURSOS HUMANOS

• Regla de Oro
• Tras una instalación eficiente de Bb existe
  siempre un equipo de gente comprometido con el
  proyecto y con una correcta combinación de
  conocimientos
• Problemática
• Mantener el compromiso de los grupos de gente
  adecuada

Soluciones
Entrenamiento Diversificación Nuevos servicios
y/o proyectos Comunicación entre equipos
26

• ENTORNOS DE TEST Y ACEPTACIÓN
• EL SISTEMA OPERATIVO NO CUMPLE ONE SIZE FITS
  ALL
• MANTENIMIENTO DE LOGS Y ELEMENTOS DE AUDITORÍA
• PERSISTENCIA DE SESIONES EN ENTORNOS DE ALTA
  CAPACIDAD
• HOUSEKEEPING
• APROVECHAMIENTO DEL HARDWARE
• UN PASO MÁS ALLÁ DEL BACKUP
• LIBRO DE OPERACIONES
• MONITORIZACIÓN Y POST-ANÁLISIS DE LOGS
• RECURSOS HUMANOS