В последние годы внедрение сетевых карт RDMA вызвало настоящий фурор на мировом рынке Ethernet-коммуникаций. В частности, такие интернет-гиганты, как Ali, Tencent, Inspur, Supermicro, Lenovo и другие, развернули большое количество RDMA сетевые карты на своих серверах. Согласно официальным данным, в 2019 году суточный оборот Tmall в рамках акции «Двойная 11» достиг 268,4 млрд юаней, пиковая нагрузка по обработке заказов составила 544 000 транзакций в секунду, а объем данных, обработанных за один день, достиг 970 ПБ. Эта поразительная цифра появилась вновь. Применение сетевых карт RDMA вывело эту тему на первые строчки.

Однако многие пользователи отмечают, что, хотя эти данные выглядят весьма впечатляюще, они не совсем понимают, как сетевая карта RDMA используется в реальных условиях. На самом деле, практическое применение сетевых карт RDMA не так уж и загадочно, как все думают. Появление сетевых карт RDMA на самом деле направлено на решение проблемы задержки обработки данных на стороне сервера. Другими словами, задача сетевой карты RDMA — снизить нагрузку на ЦП, повысить пропускную способность сети и сократить сетевую задержку.

1. О RDMA

RDMA (полное название: Remote Direct Memory Access), что означает «удаленный прямой доступ к памяти», представляет собой протокол сетевой связи, который впервые был применен в сфере высокопроизводительных вычислений и постепенно стал широко использоваться в центрах обработки данных. RDMA позволяет пользовательским программам обходить ядро операционной системы (CPU) и напрямую взаимодействовать с сетевой картой для сетевой связи, обеспечивая тем самым высокую пропускную способность и чрезвычайно малую задержку. Таким образом, принцип работы сетевой карты RDMA заключается в том, что, по сравнению с традиционной сетевой картой TCP/IP, сетевая карта RDMA исключает участие ядра (CPU), и все данные передаются напрямую из приложения на сетевую карту.

2 Три сетевых протокола RDMA

В настоящее время у RDMA, как правило, есть три сетевые протоколы: Infiniband, RoCE и iWARP

1. InfiniBand — это сетевой протокол, специально разработанный для RDMA, который способен обеспечить надежность передачи данных на аппаратном уровне. Хотя технические и стандартные спецификации InfiniBand были официально опубликованы в 2000 году, архитектура InfiniBand (IBA) стала широко применяться в кластерных суперкомпьютерах только после 2005 года. Основная причина медленного развития заключается в том, что Infiniband требует собственного выделенного оборудования от L2 до L4. Стоимость для предприятия очень высока. В настоящее время основным производителем сетей InfiniBand является компания Mellanox.

2. RoCE — это сетевой протокол, позволяющий реализовать RDMA в сети Ethernet. Его можно разделить на RoCE v1 и RoCE v2. Многие пользователи сети считают, что архитектура RoCE заимствована из InfiniBand, поскольку нижний сетевой заголовок RoCE представляет собой заголовок Ethernet, а верхний — заголовок InfiniBand. Это недорогая сеть InfiniBand, запущенная компанией Mellanox (поддерживающая RoCE v1) для удовлетворения рыночного спроса.

Для обеспечения работы с низкой задержкой сетям RoCE требуется Ethernet без потерь, а это означает, что интегрированные в сеть Ethernet-коммутаторы должны поддерживать механизмы мостового соединения центров обработки данных (DCB) и управления приоритетными потоками (PFC) для поддержания трафика без потерь. Однако сложность безпотерного Ethernet заключается в том, что его настройка в современной корпоративной среде представляет собой сложный процесс, а масштабируемость будет значительно ограничена, но это не является проблемой для компаний с сильными финансовыми ресурсами. Во-вторых, RoCE может напрямую использовать сетевую карту для стоечных серверов или хостов.

3. iWARP — это сетевой протокол, позволяющий реализовывать RDMA на базе TCP. Его преимущество заключается в том, что он может работать в современных стандартных сетях TCP/IP. Для использования RDMA необходимо приобрести сетевую карту с поддержкой iWARP. Это особенно подходит для предприятий с несколько ограниченным бюджетом. Но его недостаток заключается в том, что по производительности он немного уступает RoCE. В конце концов, вы получаете то, за что платите. Этот принцип применяется с древних времен.

3. Как выбрать марку сетевой карты с поддержкой RDMA

Как гласит пословица, «посмотрите несколько вариантов» — то же самое относится и к выбору производителей сетевых карт RDMA. Если посмотреть на мировой рынок, то на сегодняшний день существует три основных бренда производителей сетевых карт RDMA: Marvell, Intel и Mellanox. При этом Marvell — это приобретенный бренд Qlogic, а Mellanox — компания, купленная NVIDIA.

Как выбрать производителей сетевых карт RDMA? Прежде всего, известно, что сетевые карты Mellanox Infiniband являются лучшим примером производительности сетевых карт RDMA. Они обеспечивают надежность передачи данных на аппаратном уровне, но требуют, чтобы вся экосистема была оснащена специальным оборудованием. Хотя в настоящее время выпущены сетевые карты RDMA, поддерживающие Ethernet, эта сетевая карта RDMA поддерживает только RoCE v1, что требует наличия механизма приоритетного управления потоком (PFC) на коммутаторе, что является дорогостоящим. В связи с этим большинство компаний, владеющих центрами обработки данных, были исключены.

Остались только RoCE v2 и iWARP. Intel — американская компания, занимающаяся в основном производством процессоров. Производительность RDMA (протоколы RoCE v2 и iWARP) уже поддерживается на сетевых контроллерах серии 800. RoCE v2 — это обновленная версия RoCE v1. Главным улучшением стала поддержка IP-маршрутизации. Главная особенность протокола iWARP заключается в том, что он может работать в любой IP-сети и больше не ограничивает совместимость сопутствующего оборудования. С этой точки зрения сетевые карты Intel и Mellanox с поддержкой RDMA являются более экологически совместимыми и экономически эффективными.

Marvell, как мы уже упоминали, является приобретенным брендом Qlogic. Бренд Qlogic обладает безусловным авторитетом на рынке Fibre Channel. Решения Qlogic используют многие корпоративные клиенты по всему миру. Что касается RDMA, то Qlogic и Intel в равной степени привержены протоколам RoCE и Intel. В отношении iWARP никаких предубеждений нет. Клиенты могут использовать протоколы RoCE и iWARP на одном адаптере, однако Marvell объявила, что в следующем году производство сетевых контроллеров Ethernet будет прекращено. Это очень печальная новость.

4. Китайские компании самостоятельно занимаются исследованиями и разработками в сфере производства сетевых карт RDMA

Помимо вышеупомянутых трех гигантов, существует еще множество Сетевая карта RDMA китайские производители, обладающие мощным собственным научно-исследовательским потенциалом, такие как компания Shenzhen Lianrui Electronics Co., Ltd. В 2019 году компания Shenzhen Lianrui Electronics Co., Ltd. (далее — LR-LINK Lianrui) заключила соглашение о стратегическом партнерстве с компанией Marvell. Опираясь на сильные позиции Qlogic в области Fibre Channel, компания создала сетевую карту RDMA, предназначенную исключительно для серверной сферы. Основными продуктами являются двух- и четырехпортовые сетевые карты 10 Гбит/с (модели: LRES1004PF-2SFP+, LRES1005PF-4SFP+), сетевые карты для серверов 25 Гбит/с, 10 Гбит/с и 25 Гбит/с Сетевые карты OCP 3.0и т. д. Поскольку в следующем году производство сетевых контроллеров Marvell Ethernet будет прекращено, в настоящее время существующие сетевые карты Marvell от LR-LINK Lianrui (с функцией RDMA) в основном предлагаются для заказа постоянным клиентам.

Кроме того, после июня 2020 года компания LR-LINK Lianrui приступила к самостоятельной разработке сетевых адаптеров на базе чипсетов Intel серии 800. Продукты, которые обычно продавались, — это серверные сетевые карты с двумя оптическими портами 100G, серверные сетевые карты с одним оптическим портом 100G, серверные сетевые карты с двумя оптическими портами 25G; в настоящее время на рынке, по итогам исследований, представлены серверные сетевые карты с четырьмя оптическими портами 25G, сетевые карты OCP 3.0 с двумя оптическими портами 25G и сетевые карты OCP 3.0 с двумя портами 100G и т. д., все они обладают низкой задержкой и высокой пропускной способностью сети с точки зрения производительности. Они также имеют такие превосходные характеристики, как высокая пропускная способность, снижение нагрузки на ЦП и поддержка функции RDMA.

В будущем, в условиях стремительного роста спроса на услуги по обработке данных в центрах обработки данных в корпоративном секторе, компания LR-LINK будет и далее использовать свои отраслевые преимущества, внедрять инновации и разрабатывать все новые сетевые карты, отличающиеся высокой производительностью, высокой пропускной способностью, низкой задержкой и другими характеристиками, а также стремиться предоставлять клиентам по всему миру профессиональные решения в области сетевых карт с превосходными эксплуатационными характеристиками.