I. 인피니밴드 네트워크란 무엇인가?

인피니밴드(InfiniBand, 흔히 “IB”로 약칭됨)는 네트워크 통신 표준이자 RDMA(원격 직접 메모리 액세스) 기술을 구현하는 프로토콜 중 하나입니다. 이 기술은 고속 차동 신호 전송 기술과 다중 채널 병렬 전송 메커니즘을 활용합니다. 인피니밴드의 주요 목표는 “고성능, 저지연, 고신뢰성”을 제공하는 것입니다.

인피니밴드(InfiniBand)는 서버 분야에서 고성능 컴퓨팅(HPC) 전용으로 사용되는 상호 연결 기술입니다. 이 기술은 매우 높은 처리량과 극히 낮은 지연 시간을 특징으로 하며, 컴퓨터 간의 데이터 상호 연결(예: 복제, 분산 워크로드)에 사용됩니다. 또한 인피니밴드는 서버와 스토리지 시스템(SAN 및 직접 연결 스토리지 등) 간, 그리고 스토리지 시스템끼리 직접 연결하거나 스위치를 통해 연결하는 데에도 활용됩니다. 또한, 서버와 네트워크(LAN, WAN, 인터넷 등) 간의 통신을 용이하게 합니다. 데이터 센터 및 HPC/스토리지 분야에서 널리 사용되고 있습니다. 이후 인공지능의 부상과 함께 GPU 서버를 연결하는 데 선호되는 네트워크 상호 연결 기술로 자리 잡았습니다.

II. 인피니밴드의 발전사

1990년대 초, 인텔은 점점 늘어나는 외부 장치를 지원하기 위해 표준 PC 아키텍처에 PCI 버스 설계를 최초로 도입했습니다. 그러나 CPU, 메모리, 하드 드라이브 및 기타 부품이 급속도로 발전함에 따라, PCI 버스의 느린 진화 속도는 전체 시스템의 병목 현상이 되었습니다. 이 문제를 해결하기 위해 컴팩, 델, HP, IBM, 인텔, 마이크로소프트, 선을 비롯한 IT 업계 거대 기업들과 180여 개 이상의 기업이 공동으로 **IBTA(InfiniBand Trade Association, 인피니밴드 무역 협회)**를 설립했습니다.

IBTA의 목적은 PCI를 대체하고 전송 병목 현상을 해결할 수 있는 새로운 대안 기술을 연구하는 것이었습니다. 그 결과, 2000년에 **인피니밴드 아키텍처 사양 버전 1.0**이 공식 발표되었다. 이 사양은 RDMA 프로토콜을 도입하여 더 낮은 지연 시간, 더 넓은 대역폭, 더 높은 신뢰성을 제공함과 동시에 훨씬 더 강력한 I/O 성능을 가능하게 함으로써, 시스템 상호 연결 기술의 새로운 표준으로 자리매김했다.

인피니밴드(InfiniBand)를 이야기하다 보면 어김없이 이스라엘 기업인 **멜라녹스(Mellanox)**(중국어 명칭: , “나사를 판다”는 뜻으로 기억하기 쉽다)가 떠오릅니다. 1999년 5월, 인텔과 갈릴레오 테크놀로지의 전직 직원 몇 명이 이스라엘에서 설립한 멜라녹스는 설립 직후 인피니밴드 산업 연합에 가입했습니다. 2001년에는 첫 번째 인피니밴드 제품을 출시했습니다.

2002년, 인피니밴드 진영은 큰 격변을 겪었습니다. 인텔은 2004년에 출시된 **PCI Express(PCIe)**로 개발 초점을 전환하기로 결정하며 “배에서 내렸다.” 또 다른 거대 기업인 마이크로소프트도 인피니밴드 개발에서 손을 뗐습니다. 썬(Sun)이나 히타치(Hitachi) 같은 기업들은 여전히 인피니밴드에 전념했지만, 인피니밴드의 미래는 불투명해졌습니다.

2003년부터 인피니밴드는 “컴퓨터 클러스터 상호 연결”이라는 새로운 응용 분야로 방향을 전환했습니다. 2005년에는 "저장 장치 연결"이라는 또 다른 새로운 응용 분야를 개척했습니다. 2012년 이후, 고성능 컴퓨팅(HPC) 수요의 지속적인 증가에 힘입어 인피니밴드 기술은 비약적으로 발전하며 시장 점유율을 꾸준히 확대해 나갔습니다.

인피니밴드 기술이 점차 주목받게 되면서, 멜라녹스 역시 성장하여 "시장 선도 기업" 인피니밴드 분야에서. 2010년 멜라녹스(Mellanox)가 볼테르(Voltaire)와 합병하면서, 멜라녹스(2019년 엔비디아에 인수됨)와 퀄로직(QLogic, 2012년 인텔에 인수됨)이 주요 인피니밴드 공급업체로 남게 되었다.

2013년, 멜라녹스는 실리콘 포토닉스 기술 기업인 코투라(Kotura)와 병렬 광 인터커넥트 칩 제조사 IPtronics를 인수하며 업계 내 입지를 더욱 공고히 했다.

2015년, 인피니밴드 기술의 시장 점유율은 "TOP500" 슈퍼컴퓨터 목록에서 점유율이 처음으로 50%를 넘어섰다. 이는 인피니밴드(InfiniBand)가 이더넷 기술을 처음으로 추월한 것으로, "슈퍼컴퓨터에 선호되는 클러스터 상호 연결 기술".

2015년까지 멜라녹스는 "80% 점유율" 글로벌 인피니밴드 시장의. 이 회사의 사업 영역은 칩에서 네트워크 어댑터, 스위치/게이트웨이, 원격 통신 시스템, 케이블/모듈에 이르기까지 전 분야로 확대되어, 세계적 수준의 네트워크 공급업체로 자리매김했다.

2019년, 엔비디아는 멜라녹스를 인수하는 중대한 행보를 보였는데, 이는 "69억 달러". 엔비디아(NVIDIA)의 CEO인 젠슨 황은 “이는 고성능 컴퓨팅 분야에서 세계를 선도하는 두 기업의 결합입니다. 엔비디아는 가속 컴퓨팅에 주력하고, 멜라녹스(Mellanox)는 상호 연결 및 스토리지 분야에 주력하고 있습니다.”라고 밝혔다. 돌이켜보면 엔비디아는 놀라운 선견지명을 보여주었습니다. 대규모 모델 훈련은 고성능 컴퓨팅 클러스터에 크게 의존하며, 인피니밴드 네트워크는 "최적의 파트너" 이러한 클러스터의 경우.

III. 인피니밴드의 작동 원리

네트워킹 분야 전문가가 아닌 분들에게는 인피니밴드의 작동 원리가 복잡하게 느껴질 수 있습니다. 초보자는 기본 내용을 파악하거나 이 섹션을 건너뛸 수 있습니다. 인피니밴드 프로토콜은 또한 "계층형 아키텍처"각 계층은 독립적이며, 그 위 계층에 서비스를 제공합니다.

물리 계층: 물리 링크에서 비트 신호가 심볼로, 이어서 프레임, 데이터 심볼 및 패킷 간 데이터 채움으로 어떻게 조합되는지를 정의합니다. 또한 유효한 패킷을 구성하기 위한 신호 프로토콜 등을 상세히 설명합니다.

링크 계층: 데이터 패킷의 형식과 흐름 제어, 라우팅, 인코딩, 디코딩 등과 같은 패킷 처리 프로토콜을 정의합니다.

네트워크 계층: 패킷에 40바이트 길이의 글로벌 라우팅 헤더(GRH)를 추가하여 라우팅을 수행합니다. 패킷 전달 과정에서 라우터는 가변 CRC 검사만 수행하여, "종단 간 데이터 전송 무결성".

전송 계층: 패킷을 특정 큐 페어(QP)로 전달하고, 해당 QP에 패킷 처리 방법을 지시합니다. InfiniBand 네트워크 전송 계층은 데이터 전송의 신뢰성과 효율성을 보장하기 위해 크레딧 기반 흐름 제어(CBFC) 기술을 사용합니다. 이 메커니즘은 패킷 손실과 혼잡을 방지하기 위해 송신자와 수신자 간의 크레딧(수신자가 수용할 수 있는 데이터 양을 나타냄)을 관리합니다.

QP(Queue Pair)는 RDMA 기술의 기본 통신 단위입니다. 이는 SQ(Send Queue)와 RQ(Receive Queue)라는 두 개의 큐로 구성됩니다. 사용자가 API를 호출하여 데이터를 전송하거나 수신할 때, 본질적으로 해당 데이터를 QP에 넣게 됩니다. QP에 있는 요청들은 이후 폴링 방식으로 하나씩 처리됩니다.

의 장점 "CBFC" 이 기술은 크게 세 가지로 요약할 수 있습니다:

1. 정체 방지: 동적 대역폭 조정 및 무손실 전송을 통해 CBFC는 네트워크 정체와 패킷 손실을 효과적으로 방지합니다.

2. 효율성 향상: 송신자는 크레딧이 소진될 때까지 확인 응답을 기다릴 필요 없이 데이터를 지속적으로 전송할 수 있어, 데이터 전송 효율이 향상됩니다.

3. 자동 구성: InfiniBand 장치를 물리적으로 설치하면 흐름 제어 메커니즘이 자동으로 활성화되므로 사용자의 수동 구성이 필요하지 않습니다.

보시다시피, 인피니밴드(InfiniBand)는 자체적인 레이어 1~4(물리, 링크, 네트워크, 전송) 형식을 정의하여 완전한 네트워크 프로토콜을 구성합니다. 종단 간 흐름 제어는 인피니밴드 네트워크 패킷을 송수신하는 데 있어 핵심 기반이 되며, 이를 통해 매우 효율적인 무손실 네트워크를 구현할 수 있습니다.

물론, 인피니밴드(InfiniBand)의 고속 무손실 네트워크를 구현하는 데에는 소켓 다이렉트(Socket Direct), 적응형 라우팅(Adaptive Routing), 서브넷 관리를 위한 서브넷 매니저(SM), 네트워크 분할, 그리고 네트워크 최적화를 위한 SHARP(Scalable Hierarchical Aggregation and Reduction Protocol) 엔진과 같은 기술 및 기능들도 중요한 역할을 합니다. 이러한 구성 요소들이 결합되어 인피니밴드만의 특징인 고성능, 저지연, 그리고 손쉬운 확장성을 제공합니다.