I. O que é a rede InfiniBand?

O InfiniBand, frequentemente abreviado como “IB”, é um padrão de comunicação de rede e um dos protocolos que implementam a tecnologia RDMA (Acesso Direto à Memória Remota). Ele utiliza tecnologia de sinalização diferencial de alta velocidade e mecanismos de transmissão paralela multicanal. Seus principais objetivos são proporcionar “alto desempenho, baixa latência e alta confiabilidade”.

O InfiniBand é uma tecnologia de interconexão dedicada à computação de alto desempenho (HPC) no domínio dos servidores. Apresenta uma taxa de transferência extremamente alta e uma latência excepcionalmente baixa, sendo utilizada para a interconexão de dados entre computadores (por exemplo, replicação, cargas de trabalho distribuídas). O InfiniBand também é empregado como interconexão direta ou comutada entre servidores e sistemas de armazenamento (como SANs e armazenamento diretamente conectado), bem como entre os próprios sistemas de armazenamento. Além disso, facilita a comunicação entre servidores e redes (como LANs, WANs e a Internet). É amplamente utilizada em data centers e nos campos de HPC/armazenamento. Posteriormente, com o surgimento da inteligência artificial, tornou-se a tecnologia de interconexão de rede preferida para conectar servidores com GPUs.

II. A história do desenvolvimento do InfiniBand

No início da década de 1990, a Intel foi pioneira na introdução do design do barramento PCI na arquitetura padrão dos PCs para dar suporte ao número crescente de dispositivos externos. No entanto, à medida que CPUs, memórias, discos rígidos e outros componentes passaram a ser atualizados rapidamente, a evolução mais lenta do barramento PCI tornou-se um gargalo para todo o sistema. Para resolver essa questão, gigantes do setor de TI, incluindo Compaq, Dell, HP, IBM, Intel, Microsoft e Sun, juntamente com mais de 180 outras empresas, fundaram em conjunto a **IBTA (InfiniBand Trade Association)**.

O objetivo da IBTA era pesquisar novas tecnologias alternativas para substituir o PCI e resolver o problema de gargalo na transmissão. Consequentemente, em 2000, a **Especificação da Arquitetura InfiniBand versão 1.0** foi lançada oficialmente. Ela introduziu o protocolo RDMA, oferecendo menor latência, maior largura de banda, maior confiabilidade e permitindo um desempenho de E/S significativamente mais potente, estabelecendo-se como um novo padrão para a tecnologia de interconexão de sistemas.

Quando se fala em InfiniBand, inevitavelmente vem à mente uma empresa israelense – a **Mellanox** (nome em chinês: , fácil de lembrar como “venda de parafusos”). Fundada em Israel em maio de 1999 por vários ex-funcionários da Intel e da Galileo Technology, a Mellanox aderiu à aliança industrial do InfiniBand logo após sua fundação. Em 2001, eles lançaram seu primeiro produto InfiniBand.

Em 2002, o campo do InfiniBand enfrentou uma grande reviravolta. A Intel “abandonou o barco”, decidindo mudar seu foco de desenvolvimento para o **PCI Express (PCIe)**, que foi lançado em 2004. Outra gigante, a Microsoft, também se retirou do desenvolvimento do InfiniBand. Embora empresas como a Sun e a Hitachi tenham permanecido comprometidas, o futuro do InfiniBand ficou comprometido.

A partir de 2003, a InfiniBand passou a se concentrar em um novo domínio de aplicação: a “interconexão de clusters de computadores”. Em 2005, encontrou outra nova aplicação: “conectividade de dispositivos de armazenamento”. Após 2012, impulsionada pelo crescimento contínuo das demandas de Computação de Alto Desempenho (HPC), a tecnologia InfiniBand avançou rapidamente, aumentando constantemente sua participação no mercado.

À medida que a tecnologia InfiniBand ganhava cada vez mais destaque, a Mellanox também cresceu e se tornou a "líder de mercado" na área de InfiniBand. Em 2010, a Mellanox se fundiu com a Voltaire, deixando a Mellanox (adquirida pela NVIDIA em 2019) e a QLogic (adquirida pela Intel em 2012) como os principais fornecedores de InfiniBand.

Em 2013, a Mellanox adquiriu a Kotura, empresa especializada em tecnologia de fotônica de silício, e a IPtronics, fabricante de chips de interconexão óptica paralela, consolidando ainda mais seu portfólio no setor.

Em 2015, a participação da tecnologia InfiniBand no "TOP500" A lista de supercomputadores ultrapassou os 50% pela primeira vez. Isso marcou a primeira vez que a tecnologia InfiniBand ultrapassou a Ethernet, tornando-se a "tecnologia preferida de interconexão de clusters para supercomputadores".

Em 2015, a Mellanox detinha uma "80% de participação" do mercado global de InfiniBand. Seu escopo de negócios se expandiu, passando dos chips para abranger todo o espectro: adaptadores de rede, switches/gateways, sistemas de comunicação remota e cabos/módulos, consolidando-a como uma fornecedora de redes de nível mundial.

Em 2019, a NVIDIA deu um passo significativo ao adquirir a Mellanox por "6,9 bilhões de dólares". Jensen Huang, CEO da NVIDIA, declarou: “Esta é a união de duas empresas líderes mundiais em computação de alto desempenho. A NVIDIA concentra-se na computação acelerada, enquanto a Mellanox concentra-se em interconexão e armazenamento.” Em retrospecto, a NVIDIA demonstrou uma notável visão de futuro: o treinamento de modelos de grande porte depende fortemente de clusters de computação de alto desempenho, e as redes InfiniBand são as "parceiro ideal" para esses agrupamentos.

III. Como funciona o InfiniBand

Os princípios de funcionamento do InfiniBand podem parecer complexos para quem não é especialista em redes. Os iniciantes podem aprender o básico ou pular esta seção. O protocolo InfiniBand também adota um "arquitetura em camadas", sendo que cada camada é independente e presta serviços à camada acima dela.

Camada Física: Define como os sinais de bits são agrupados em símbolos no canal físico, e posteriormente em quadros, símbolos de dados e preenchimento de dados entre pacotes. Ela detalha os protocolos de sinalização para a construção de pacotes válidos, etc.

Camada de enlace: Define o formato dos pacotes de dados e os protocolos para as operações dos pacotes, tais como controle de fluxo, roteamento, codificação, decodificação, etc.

Camada de rede: Realiza o roteamento adicionando um cabeçalho de rota global (GRH) de 40 bytes ao pacote. Durante o encaminhamento, os roteadores realizam apenas uma verificação CRC variável, garantindo "integridade da transmissão de dados de ponta a ponta".

Camada de transporte: entrega pacotes a um par de filas (QP) específico e instrui o QP sobre como processar o pacote. O transporte de rede InfiniBand emprega a tecnologia de Controle de Fluxo Baseado em Crédito (CBFC) para garantir a confiabilidade e a eficiência da transmissão de dados. Esse mecanismo gerencia o crédito (que representa o volume de dados que o receptor pode aceitar) entre o remetente e o receptor para evitar perda de pacotes e congestionamento.

O QP (Queue Pair) é a unidade fundamental de comunicação na tecnologia RDMA. Ele consiste em um par de filas: a SQ (Send Queue) e a RQ (Receive Queue). Quando os usuários chamam APIs para enviar ou receber dados, eles basicamente colocam os dados no QP. As solicitações no QP são então processadas uma a uma, por meio de polling.

As vantagens de "CBFC" A tecnologia pode ser resumida em três pontos principais:

1. Evita congestionamentos: por meio do ajuste dinâmico de crédito e da transmissão sem perdas, o CBFC previne eficazmente o congestionamento da rede e a perda de pacotes.

2. Aumenta a eficiência: o remetente pode transmitir dados continuamente sem esperar por confirmações até que o crédito se esgote, aumentando assim a eficiência da transferência de dados.

3. Configuração automática: O mecanismo de controle de fluxo é ativado automaticamente após a instalação física dos dispositivos InfiniBand, sem a necessidade de configuração manual por parte do usuário.

Como se pode ver, o InfiniBand define seus próprios formatos das Camadas 1 a 4 (Física, de Enlace, de Rede e de Transporte), constituindo um protocolo de rede completo. O controle de fluxo de ponta a ponta é a base para o envio e a recepção de pacotes de rede InfiniBand, permitindo a implementação de uma rede altamente eficaz e sem perdas.

É claro que a obtenção da rede de alta velocidade e sem perdas do InfiniBand também depende de tecnologias e recursos como o Socket Direct, o Adaptive Routing, o Subnet Manager (SM) para gerenciamento de sub-redes, o particionamento de rede e o mecanismo SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) para otimização da rede. Juntos, esses componentes proporcionam o alto desempenho, a baixa latência e a fácil escalabilidade que caracterizam a tecnologia.