Grado en Informtica - Diseo de Infraestructuras de Red

INFINIBAND
Javier.Ayllon@uclm.es
Motivos
Necesidad de una red de gran ancho de
banda
Necesidad de una red de baja latencia
Red con mecanismos de descarga
Objetivo computacin de alto rendimiento
Red que integra servicios
Conexin con cabinas de almacenamiento
Red escalable
Red gestionable
Historia
Fin de la vida de PCI, PCI-X un parche
PCI-e vlido
Pila IP demasiado compleja para HPC
Compaq Intel Microsoft
Virtual Architecture Interface
Pares de colas
Primitivas enviar recibir
Fusin de proyectos ngio y Future io
Esquema de una red IB
Nodos Fabric Consola I/O Router
Elementos IB
Channel Adapter
HCA
TCA
Switch
Router
Subnet Manager
Subnet Manager Agent
IB Verbs
Esquema de capas
Nivel Fisico
Caracteristicas electricas
Caracteristicas mecanicas
Enlace de 4 seales (Rx y Tx LVDS)
Agrupacin de en laces 1X, 4X y 12X de
un solo dato serie (phits)
Cada enlace 2.5 Gb/s SDR o 5 Gb/DDR,
QDR, FDR..
Encoding 8b/10b o 64b/66b
Nivel enlace
Define los paquetes (flits)
Concepto de subred
Switching en la subred - Local ID
QoS
Canales Virtuales (Virtual Lanes)
Prioridad de paquetes de 0 15 (15 mx)
VL 15 reservado para gestin
Subnet Manager
Control de flujo (Basado en Crditos)
Nivel de red
Trfico de datos entre subredes
Global Route Header en los paquetes
Global Unique ID
Reemplazo de datos en los routers
Identificacin en GRH basado en IPv6
Nivel de Transporte
Particionado de paquetes al enviar
Reorganizacin de mensajes al recibir
Paquetes ACK
Tipos de servicio
Reliable/Unreliable Connection/Datagram Raw
Mensajes:
Enviar/recivir, RDMA
Operaciones atmicas
Multicast
Transacciones
Todo implementado en hardware
ULP's (Upper Layer Protocols)
Sockets Direct Protocol SDP
SRP SCSI RDMA Protocol
ISER iSCSI Extensions for RDMA
IpoIP
NFS-RDMA
Lustre support
Reliable Datagram Sockets
MPI
OFED
Open Fabrics Enterprise Distribution
Estndar de facto
Incluye:
Drivers HCA
Sistema base
Libsdp (Socket Direct Protocol)
IPoIB
SRP
Ibverbs
Utilidades de diagnstico y benchmark
ISER
OpenSM
OpenMPI
Comandos OFED
Ibstat lista los dispositivos IB locales
Ibhosts - lista los hosts de la subred
Ibnetdiscover lista todos los dispositivos de la
subred
Ibswitches lista todos los switches de la red
Ibrouters lista los routers de la subred
Ibping
Cliente/servidor
Destino ibping -S
Origen ibping <lid>
Vendedores Infiniband
Qlogic (con antiguos silverstorm)
Mellanox (antiguos productos Voltaire)
Referencias
Inbiniband Trad Association
http://www.infinibandta.org/content/pages.php?pg=resources_white_papers
Open Fabrics Alliance
http://www.openfabrics.org/index.php
Qlogic
http://www.qlogic.com
Mellanow
http://www.mellanox.com