In den letzten Jahren hat der Einsatz von RDMA-Netzwerkkarten auf dem globalen Markt für Ethernet-Kommunikation für Aufsehen gesorgt. Insbesondere einige Internetgiganten wie Alibaba, Tencent, Inspur, Supermicro, Lenovo und andere haben eine große Anzahl von RDMA Netzwerkkarten auf ihren Servern. Im Jahr 2019 erreichte der tägliche Umsatz von Tmall am „Double 11“-Tag laut offiziellen Datenberichten 268,4 Milliarden Yuan, die Spitzenauslastung bei den Bestellungen lag bei 544.000 Transaktionen pro Sekunde und das Datenverarbeitungsvolumen an einem einzigen Tag belief sich auf 970 PB. Dieser beeindruckende Wert zeigte sich erneut. Der Einsatz von RDMA-Netzwerkkarten hat das Thema in den Vordergrund gerückt.

Viele Nutzer äußerten jedoch, dass diese Daten zwar sehr beeindruckend seien, sie aber nicht wüssten, wie die RDMA-Netzwerkkarte in der Praxis eingesetzt wird. Tatsächlich ist die praktische Anwendung von RDMA-Netzwerkkarten gar nicht so geheimnisvoll, wie alle denken. RDMA-Netzwerkkarten wurden eigentlich entwickelt, um die Verzögerung bei der serverseitigen Datenverarbeitung zu beheben. Mit anderen Worten: Die Aufgabe der RDMA-Netzwerkkarte besteht darin, die CPU-Auslastung zu verringern, den Netzwerkdurchsatz zu verbessern und die Netzwerkverzögerung zu reduzieren.

1 Über RDMA

RDMA (Abkürzung für „Remote Direct Memory Access“), was so viel wie „direkter Fernzugriff auf den Arbeitsspeicher“ bedeutet, ist ein Netzwerkkommunikationsprotokoll, das ursprünglich im Bereich des Hochleistungsrechnens eingesetzt wurde und sich nach und nach auch in Rechenzentren durchgesetzt hat. RDMA ermöglicht es Anwenderprogrammen, den Betriebssystemkern (CPU) zu umgehen und für die Netzwerkkommunikation direkt mit der Netzwerkkarte zu interagieren, wodurch eine hohe Bandbreite und extrem geringe Latenzzeiten erzielt werden. Das Funktionsprinzip der RDMA-Netzwerkkarte besteht daher darin, dass im Vergleich zur herkömmlichen TCP/IP-Netzwerkkarte die Beteiligung des Kerns (der CPU) entfällt und alle Daten direkt von der Anwendung zur Netzwerkkarte übertragen werden.

2 Drei Netzwerkprotokolle von RDMA

Derzeit gibt es bei RDMA im Allgemeinen drei Netzwerkprotokolle: Infiniband, RoCE und iWARP

1. InfiniBand ist ein speziell auf RDMA zugeschnittenes Netzwerkprotokoll, das die Zuverlässigkeit der Datenübertragung bereits auf Hardwareebene gewährleistet. Obwohl die technischen Spezifikationen und Standards für InfiniBand bereits im Jahr 2000 offiziell veröffentlicht wurden, hat sich die InfiniBand-Architektur (IBA) erst seit 2005 in großem Umfang in Cluster-Supercomputern durchgesetzt. Der Hauptgrund für die langsame Entwicklung ist, dass Infiniband eigene dedizierte Hardware von L2 bis L4 erfordert. Die Kosten für Unternehmen sind sehr hoch. Derzeit ist Mellanox der wichtigste Hersteller von Infiniband-Netzwerken.

2. RoCE ist ein Netzwerkprotokoll, das die Implementierung von RDMA über Ethernet ermöglicht. Es lässt sich in RoCE v1 und RoCE v2 unterteilen. Viele Internetnutzer glauben, dass die Architektur von RoCE selbst von InfiniBand abgeleitet ist, da der untere Netzwerk-Header von RoCE der Ethernet-Header ist, während der obere Netzwerk-Header der InfiniBand-Header ist. Es handelt sich um ein kostengünstiges InfiniBand-Netzwerk, das von Mellanox (mit Unterstützung für RoCE v1) auf den Markt gebracht wurde, um der Marktnachfrage gerecht zu werden.

RoCE-Netzwerke erfordern verlustfreies Ethernet, um einen Betrieb mit geringer Latenz zu gewährleisten. Das bedeutet, dass die in das Netzwerk integrierten Ethernet-Switches die Mechanismen „Data Center Bridging“ (DCB) und „Priority Flow Control“ (PFC) unterstützen müssen, um einen verlustfreien Datenverkehr zu gewährleisten. Die Schwierigkeit bei verlustfreiem Ethernet besteht jedoch darin, dass die Konfiguration in einer modernen Unternehmensumgebung ein komplizierter Prozess ist und die Skalierbarkeit stark eingeschränkt sein wird; für Unternehmen mit soliden finanziellen Ressourcen stellt dies jedoch kein Problem dar. Zweitens kann RoCE die Netzwerkkarte für Rack-Server oder Hosts direkt nutzen.

3. iWARP ist ein Netzwerkprotokoll, das die Ausführung von RDMA über TCP ermöglicht. Sein Vorteil besteht darin, dass es in heutigen Standard-TCP/IP-Netzwerken eingesetzt werden kann. RDMA kann nur genutzt werden, wenn eine Netzwerkkarte erworben wird, die iWARP unterstützt. Für Unternehmen mit einem etwas geringeren Budget ist es besonders geeignet. Sein Nachteil ist jedoch, dass es in der Leistung etwas schlechter ist als RoCE. Schließlich bekommt man das, wofür man bezahlt. Dieses Prinzip gilt schon seit jeher.

3. Wie wählt man eine Marke für RDMA-Netzwerkkarten aus?

Wie man so schön sagt: Man sollte sich umschauen – das gilt auch für die Auswahl der Marken von RDMA-Netzwerkkarten. Betrachtet man den globalen Markt, so gibt es derzeit drei große Marken unter den Herstellern von RDMA-Netzwerkkarten, nämlich Marvell, Intel und Mellanox. Dabei ist Marvell die übernommene Marke Qlogic, und Mellanox wurde von NVIDIA übernommen.

Wie wählen wir die Hersteller von RDMA-Netzwerkkarten aus? Zunächst einmal wissen wir, dass das Infiniband-Netzwerk von Mellanox die Leistung von RDMA-Netzwerkkarten am besten repräsentiert. Es gewährleistet zwar Zuverlässigkeit bei der Hardware-Übertragung, setzt jedoch voraus, dass die gesamte Infrastruktur mit spezieller Hardware ausgestattet ist. Zwar sind inzwischen RDMA-Netzwerkkarten auf den Markt gekommen, die Ethernet unterstützen, doch diese RDMA-Netzwerkkarte unterstützt nur RoCE v1, was erfordert, dass der Switch den Priority Flow Control (PFC)-Mechanismus unterstützt, was kostspielig ist. In dieser Hinsicht sind die meisten Rechenzentrumsunternehmen davon ausgeschlossen.

Es bleiben nur noch RoCE v2 und iWARP übrig. Intel ist ein amerikanisches Unternehmen, das sich hauptsächlich mit der CPU-Verarbeitung befasst. Die RDMA-Leistung (RoCE v2- und iWARP-Protokolle) wird bereits von den Ethernet-Controllern der 800er-Serie unterstützt. RoCE v2 ist eine verbesserte Version von RoCE v1. Die größte Verbesserung besteht in der Unterstützung von IP-Routing. Das wichtigste Merkmal des iWARP-Protokolls ist, dass es in jedem IP-Netzwerk laufen kann und die Kompatibilität der zugehörigen Hardware-Unterstützungsgeräte nicht mehr einschränkt. Aus dieser Perspektive sind die RDMA-Netzwerkkarten von Intel und Mellanox ökologisch kompatibler und kostengünstiger.

Marvell ist, wie bereits erwähnt, die übernommene Marke Qlogic. Die Marke Qlogic genießt auf dem Fibre-Channel-Markt unbestrittenes Ansehen. Zahlreiche Unternehmenskunden weltweit setzen auf die Lösungen von Qlogic. Was RDMA betrifft, setzen sich Qlogic und Intel gleichermaßen für RoCE und Intel ein. Bei iWARP gibt es keine Vorbehalte. Kunden können sowohl das RoCE- als auch das iWARP-Protokoll auf demselben Adapter nutzen, doch Marvell hat angekündigt, dass der Ethernet-Netzwerkcontroller im nächsten Jahr eingestellt wird. Das ist eine sehr bedauerliche Nachricht.

4. Chinesische Unternehmen forschen und entwickeln eigenständig Hersteller von RDMA-Netzwerkkarten

Neben den drei oben genannten Giganten gibt es noch viele weitere RDMA-Netzwerkkarte Hersteller mit starken eigenständigen Forschungs- und Entwicklungskapazitäten in China, wie beispielsweise Shenzhen Lianrui Electronics Co., Ltd. Im Jahr 2019 ging Shenzhen Lianrui Electronics Co., Ltd. (im Folgenden: LR-LINK Lianrui) eine strategische Partnerschaft mit Marvell ein. Mit der starken Kompetenz von Qlogic im Bereich Fibre Channel entwickelte das Unternehmen eine RDMA-Netzwerkkarte speziell für den Serverbereich. Die Hauptprodukte sind Dual-/Vier-Port-10-Gigabit-Netzwerkkarten (Modelle: LRES1004PF-2SFP+, LRES1005PF-4SFP+), 25-Gigabit-Netzwerkkarten für Server, 10 Gigabit und 25 Gigabit OCP 3.0-Netzwerkkartenusw. Da die Ethernet-Netzwerkcontroller von Marvell im nächsten Jahr aus dem Programm genommen werden, ist die derzeitige Marvell-Netzwerkkarte (mit RDMA-Funktion) von LR-LINK Lianrui eher für Stammkunden gedacht, die diese noch bestellen möchten.

Darüber hinaus begann LR-LINK Lianrui nach Juni 2020 mit der eigenständigen Entwicklung eines Ethernet-Kartenadapters auf Basis der Intel 800-Serie. Zu den bisher regulär verkauften Produkten gehören 100G-Server-Netzwerkkarten mit zwei optischen Anschlüssen, 100G-Server-Netzwerkkarten mit einem optischen Anschluss sowie 25G-Server-Netzwerkkarten mit zwei optischen Anschlüssen; derzeit befinden sich in der Endphase der Entwicklung 25G-Server-Netzwerkkarten mit vier optischen Anschlüssen, 25G-Netzwerkkarten mit zwei optischen Anschlüssen nach OCP 3.0 sowie 100G-Netzwerkkarten mit zwei Anschlüssen nach OCP 3.0 usw. Alle zeichnen sich durch geringe Latenz und hohen Netzwerkdurchsatz aus und bieten darüber hinaus hervorragende Eigenschaften wie hohe Bandbreite, Einsparung von CPU-Overhead sowie Unterstützung der RDMA-Funktion.

Angesichts der künftig rasant steigenden Nachfrage nach Datenverarbeitung in Rechenzentren im Unternehmensbereich wird LR-LINK seine Branchenvorteile weiterhin nutzen, um innovative Netzwerkkarten mit hoher Leistung, hohem Durchsatz, geringer Latenz und weiteren Merkmalen zu entwickeln. Wir sind stets bestrebt, Kunden weltweit professionelle Netzwerkkartenlösungen mit hervorragender Leistung anzubieten.