Equilibrado del tr

1
Equilibrado del tráfico en InfiniBand

• Juan Carlos Martínez
• José Flich
• Antonio Robles
• Pedro López
• José Duato

2
Índice

• Encaminamiento en InfiniBand
• Encaminamieto Adaptativo vs Determinista en IBA.
• Adaptatividad en InfiniBand.
• Adaptatividad en nodo origen.
• Encaminamiento parcialmente adaptativo.
• Encaminamiento totalmente adaptativo.
• Problema de la entrega de paquetes en orden.

3
1. Encaminamiento en InfiniBand

• La arquitectura de InfiniBand (IBA)
• Tecnología de interconexión basada en switches.
• Enlaces punto a punto serie de alta velocidad
• IBA soporta cualquier topología definida por el
  usuario.
• El encaminamiento en IBA
• es distribuido.
• Basado en tablas de encaminamiento almacenadas en
  cada switch.
• es determinista. (Sólo un puerto de salida por
  destino en la tabla de encaminamiento)
• permite el uso de Virtual Lanes.

4
2. Determinista vs Adaptativo.
Mejora de las prestaciones en IBA
paquete
free
switch
free
DETERMINISTA
ADAPTATIVO
5
2. Determinista vs Adaptativo
32Sw
6
3. Adaptatividad en IBA.

• Virtual Adressing
• LMC Nº de bits menos significativos ignorados
  por un puerto físico cuando comprueba si su LID
  coincide con el DLID del paquete.
• Disponemos de un rango de 2LMC direcciones
  consecutivas por puerto físico
• Max LMC 7 ? 128 direcciones virtuales por
  puerto.

LMC
DLID
?
LID
7
3. Adaptatividad en IBA

• Adaptatividad en nodo Origen
• Se asignan direcciones virtuales distintas para
  cada ruta con destino al mismo nodo.
• Las direcciones pueden compartirse por varias
  rutas.
• El nodo origen selecciona la ruta seleccionando
  una de las direcciones virtuales del destino.

8
3. Adaptatividad en IBA.
En origen
Distribuido

• InfiniBand soporta encaminamiento
  distribuido,
• pero determinista
• Arquitectura interna de los conmutadores no
  definida
• posibilidad de ofrecer más
• de una opción de salida
• Alta efectividad

• Uso de rutas alternativas para cada par
  origen-destino
• No tiene en cuenta el esta-do del tráfico en la
  red
• Baja efectividad

9
3. Adaptatividad en IBA.
10
3. Adaptatividad en IBA.

• Encaminamiento parcialmente adaptativo.
• Encaminamiento distribuido.
• Conjunto de rutas libres de bloqueo.
• Virtual addresing

LID 0, 1, ... 128
1
2
11
3. Adaptatividad en IBA.

• Encaminamiento totalmente adaptativo.
• Encaminamiento distribuido.
• Conjunto de rutas NO libres de bloqueo.
• Vía de escape.
• Virtual addresing.

A
E
Internal switch
12
4. Entrega de paquetes desordenados

• Inconvenientes del encaminamiento adaptativo.
• Mayor complejidad del switch (Esto no es un
  problema en la actualidad).
• Uso de adaptatividad en Cray T3E y BlueGene.
• Hemos desarrollado un método sencillo para IBA
• JSA03 e IPDPS03.
• Entrega de paquetes desordenados.

13
4. Entrega de paquetes desordenados

• Identificación de los factores que contribuyen a
  la entrega fuera de orden.
• Análisis del porcentaje de tráfico que llega
  desordenado.
• Soluciones basadas en un híbrido
  determinista/adaptativo.
• Colaboración de la aplicación.
• Soluciones basadas en buffer de reordenación en
  destino.
• Necesidad de un buffer de reordenación.
• Dimensionamiento del buffer.
• Buffers de tamaño fijo ? No es escalable.
• Buffers compartidos.
• Toda la memoria compartida por todos los buffers.

14
4. Entrega de paquetes desordenados

• Dos posibilidades
• Descarte de paquetes en destino (cuando no hay
  buffer suficiente).
• Reconocimiento negativo ? Reinyección de paquete
  cuando se sabe que ha sido rechazado.
• Sin reconocimiento negativo ? Uso de timeouts,
  posibilidad de duplicados.
• Aumenta la congestión de la red ya que el paquete
  ha de reinyectarse.
• Políticas de reinyección.
• Sin limitación.
• Con limitación.
• Limitación de la inyección para evitar el
  descarte de paquetes.
• Uso de ventanas.
• De tamaño fijo.
• De tamaño variable.

15
4. Entrega de paquetes desordenados
ADAP - OOO
DET
ADAP