I. Qu'est-ce qu'un réseau InfiniBand ?

InfiniBand, souvent abrégé en « IB », est une norme de communication réseau et l'un des protocoles mettant en œuvre la technologie RDMA (Remote Direct Memory Access). Il utilise une technologie de signalisation différentielle à haut débit et des mécanismes de transmission parallèle multicanaux. Ses principaux objectifs sont d'offrir « des performances élevées, une faible latence et une grande fiabilité ».

InfiniBand est une technologie d'interconnexion dédiée au calcul haute performance (HPC) dans le domaine des serveurs. Elle se caractérise par un débit extrêmement élevé et une latence exceptionnellement faible, et est utilisée pour l'interconnexion de données entre ordinateurs (par exemple, la réplication ou les charges de travail distribuées). InfiniBand est également utilisé comme interconnexion directe ou commutée entre les serveurs et les systèmes de stockage (tels que les SAN et le stockage à connexion directe), ainsi qu'entre les systèmes de stockage eux-mêmes. De plus, elle facilite la communication entre les serveurs et les réseaux (tels que les LAN, les WAN et Internet). Elle est largement utilisée dans les centres de données et dans les domaines du HPC et du stockage. Par la suite, avec l'essor de l'intelligence artificielle, elle est devenue la technologie d'interconnexion réseau de choix pour connecter les serveurs GPU.

II. L'histoire du développement d'InfiniBand

Au début des années 1990, Intel a été le premier à intégrer la conception du bus PCI dans l'architecture standard des PC afin de prendre en charge le nombre croissant de périphériques externes. Cependant, alors que les processeurs, la mémoire, les disques durs et d'autres composants évoluaient rapidement, la progression plus lente du bus PCI est devenue un goulot d'étranglement pour l'ensemble du système. Pour remédier à ce problème, les géants de l'industrie informatique, notamment Compaq, Dell, HP, IBM, Intel, Microsoft et Sun, ainsi que plus de 180 autres entreprises, ont fondé conjointement l'**IBTA (InfiniBand Trade Association)**.

L'objectif de l'IBTA était d'étudier de nouvelles technologies alternatives destinées à remplacer le PCI et à résoudre le problème de goulot d'étranglement au niveau de la transmission. C'est ainsi qu'en 2000, la **spécification de l'architecture InfiniBand version 1.0** a été officiellement publiée. Elle a introduit le protocole RDMA, offrant une latence réduite, une bande passante plus large, une fiabilité accrue et des performances d'E/S nettement supérieures, s'imposant ainsi comme une nouvelle norme en matière de technologie d'interconnexion des systèmes.

Quand on parle d'InfiniBand, on pense inévitablement à une entreprise israélienne : **Mellanox** (nom chinois : , facile à retenir car cela signifie « vendre des vis »). Fondée en Israël en mai 1999 par plusieurs anciens employés d’Intel et de Galileo Technology, Mellanox a rejoint l’alliance industrielle InfiniBand peu après sa création. En 2001, elle a lancé son premier produit InfiniBand.

En 2002, le camp InfiniBand a connu un bouleversement majeur. Intel a « abandonné le navire », décidant de recentrer ses efforts de développement sur le **PCI Express (PCIe)**, lancé en 2004. Un autre géant, Microsoft, s'est également retiré du développement d'InfiniBand. Bien que des entreprises comme Sun et Hitachi soient restées engagées, l'avenir d'InfiniBand était compromis.

À partir de 2003, InfiniBand s'est orienté vers un nouveau domaine d'application : « l'interconnexion de clusters informatiques ». En 2005, il a trouvé une autre nouvelle application : la « connectivité des périphériques de stockage ». Après 2012, porté par la croissance continue de la demande en calcul haute performance (HPC), la technologie InfiniBand a connu un essor fulgurant, augmentant régulièrement sa part de marché.

À mesure que la technologie InfiniBand gagnait en importance, Mellanox s'est également développée et est devenue la "leader du marché" dans le domaine de l'InfiniBand. En 2010, Mellanox a fusionné avec Voltaire, laissant Mellanox (rachetée par NVIDIA en 2019) et QLogic (rachetée par Intel en 2012) comme principaux fournisseurs d'InfiniBand.

En 2013, Mellanox a racheté Kotura, une entreprise spécialisée dans la technologie photonique sur silicium, ainsi qu'IPtronics, un fabricant de puces d'interconnexion optique parallèle, renforçant ainsi davantage son portefeuille de produits.

En 2015, la part de marché de la technologie InfiniBand dans le "TOP500" La part de marché des supercalculateurs a dépassé les 50 % pour la première fois. Cela a marqué le premier dépassement de la technologie Ethernet par InfiniBand, qui est ainsi devenue la "technologie d'interconnexion de clusters privilégiée pour les supercalculateurs".

En 2015, Mellanox détenait une "une part de 80 %" du marché mondial de l'InfiniBand. Leur champ d'activité s'est élargi, passant des puces électroniques à l'ensemble du spectre : adaptateurs réseau, commutateurs/passerelles, systèmes de communication à distance et câbles/modules, ce qui leur a permis de s'imposer comme un fournisseur de solutions réseau de classe mondiale.

En 2019, NVIDIA a franchi une étape importante en rachetant Mellanox pour "6,9 milliards de dollars". Jensen Huang, PDG de NVIDIA, a déclaré : « Il s'agit de l'union de deux entreprises leaders mondiaux dans le domaine du calcul haute performance. NVIDIA se concentre sur le calcul accéléré, tandis que Mellanox se concentre sur l'interconnexion et le stockage. » Avec le recul, NVIDIA a fait preuve d’une remarquable clairvoyance : l’entraînement de modèles volumineux repose largement sur des clusters de calcul haute performance, et les réseaux InfiniBand sont les "partenaire idéal" pour ces groupes.

III. Comment fonctionne InfiniBand

Les principes de fonctionnement d'InfiniBand peuvent sembler complexes pour ceux qui ne sont pas spécialistes des réseaux. Les débutants peuvent en saisir les bases ou passer cette section. Le protocole InfiniBand adopte également un "architecture en couches", chaque couche étant indépendante et fournissant des services à la couche supérieure.

Couche physique : définit la manière dont les signaux binaires sont regroupés en symboles sur la liaison physique, puis en trames, en symboles de données et en données de remplissage entre les paquets. Elle décrit en détail les protocoles de signalisation permettant de construire des paquets valides, etc.

Couche de liaison : définit le format des paquets de données et les protocoles régissant leur traitement, tels que le contrôle de flux, le routage, le codage, le décodage, etc.

Couche réseau : effectue le routage en ajoutant un en-tête de route globale (GRH) de 40 octets au paquet. Lors du transfert, les routeurs effectuent uniquement un contrôle CRC variable, garantissant ainsi "intégrité de la transmission des données de bout en bout".

Couche de transport : achemine les paquets vers une paire de files d'attente (QP) spécifique et indique à cette dernière comment traiter le paquet. Le transport réseau InfiniBand utilise la technologie de contrôle de flux basé sur le crédit (CBFC) pour garantir la fiabilité et l'efficacité de la transmission des données. Ce mécanisme gère le crédit (représentant le volume de données que le destinataire peut accepter) entre l'émetteur et le destinataire afin d'éviter la perte de paquets et la congestion.

Le QP (Queue Pair) est l'unité de communication fondamentale de la technologie RDMA. Il se compose d'une paire de files d'attente : la SQ (file d'attente d'envoi) et la RQ (file d'attente de réception). Lorsque les utilisateurs appellent des API pour envoyer ou recevoir des données, ils placent essentiellement ces données dans le QP. Les requêtes contenues dans le QP sont ensuite traitées une par une selon un mécanisme de sondage.

Les avantages de "CBFC" Cette technologie peut se résumer en trois points principaux :

1. Évite la congestion : grâce à un ajustement dynamique du crédit et à une transmission sans perte, le CBFC prévient efficacement la congestion du réseau et la perte de paquets.

2. Améliore l'efficacité : l'expéditeur peut transmettre des données en continu sans attendre d'accusés de réception jusqu'à épuisement du crédit, ce qui améliore l'efficacité du transfert de données.

3. Configuration automatique : le mécanisme de contrôle de flux s'active automatiquement dès l'installation physique des périphériques InfiniBand, sans nécessiter de configuration manuelle de la part de l'utilisateur.

Comme on peut le constater, InfiniBand définit ses propres formats pour les couches 1 à 4 (physique, liaison, réseau, transport), constituant ainsi un protocole réseau complet. Le contrôle de flux de bout en bout est le fondement de l'envoi et de la réception des paquets réseau InfiniBand, permettant la mise en place d'un réseau hautement efficace et sans perte.

Bien sûr, la mise en place du réseau InfiniBand, caractérisé par sa grande vitesse et l'absence de perte de données, repose également sur des technologies et des fonctionnalités telles que Socket Direct, le routage adaptatif, le Subnet Manager (SM) pour la gestion des sous-réseaux, le partitionnement du réseau et le moteur SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) pour l'optimisation du réseau. Ensemble, ces composants offrent les performances élevées, la faible latence et la facilité d'évolutivité qui caractérisent cette technologie.