На фоне стремительного развития обучения крупных моделей искусственного интеллекта, высокопроизводительных вычислений и облачных вычислений спрос предприятий на вычислительную мощность серверных графических процессоров и производительность систем хранения данных демонстрирует тенденцию к взрывному росту. Однако традиционные серверные архитектуры имеют множество узких мест в плане возможностей расширения, таких как ограниченное количество слотов PCIe, сложность сбалансированного развертывания графических процессоров и SSD, а также недостаток гибкости решений по расширению. Эти проблемы серьезно сдерживают инновационную деятельность предприятий. В данной статье будет проведен глубокий анализ этих проблем отрасли и продемонстрировано, как LR-LINK LRSV9500-4I предоставляет предприятиям комплексное решение для расширения за счет гибких режимов разветвления X4/X8/X16.

I. Серьезный дефицит ресурсов слотов PCIe

1.1 Текущая ситуация

Современные серверные материнские платы обычно оснащены лишь 4–8 слотами PCIe, которые должны одновременно удовлетворять требованиям различных периферийных устройств, таких как сетевые карты, графические процессоры, SSD-накопители NVMe и RAID-карты. В сценариях обучения ИИ для одного сервера может потребоваться от 4 до 8 графических карт с графическим процессором, а также высокоскоростные устройства хранения данных, в результате чего количество слотов PCIe часто становится самым серьезным ограничением.

1.2 Последствия для бизнеса

Одновременное внедрение графических процессоров и твердотельных накопителей представляет собой сложную задачу, и приходится идти на компромисс между вычислительной мощностью и объемом хранилища

Предприятиям приходится приобретать больше серверов, что приводит к значительному увеличению совокупной стоимости владения

Место в серверных шкафах быстро заканчивается, что приводит к неполному использованию ресурсов центров обработки данных

1.3 Решение LRSV9500-4I

Основанный на чипе PCIe-коммутатора Broadcom PEX89048, LRSV9500-4I расширяет возможности одного слота PCIe GEN 5.0 x16, превращая его в 4 интерфейса MCIO 8I. Он может подключать 8 SSD-накопителей NVMe в режиме X4 и 2 высокопроизводительных графических карты в режиме X16. Занимается только один слот PCIe, что позволяет повысить эффективность расширения на 800%.

II. Сложность поиска баланса между расширением графических процессоров и расширением систем хранения данных

2.1 Текущая ситуация

Сценарии обучения ИИ предъявляют чрезвычайно высокие требования как к графическим процессорам (GPU), так и к высокоскоростным системам хранения данных. Графические процессоры должны обрабатывать огромные объемы данных, в то время как пропускная способность и показатели IOPS традиционных систем хранения данных на базе SAS/SATA не способны удовлетворить эти потребности. Однако после того, как слоты PCIe на материнской плате заняты графическими процессорами, интерфейсов для развертывания массивов SSD-накопителей NVMe становится недостаточно.

2.2 Последствия для бизнеса

· При обучении больших моделей коэффициент загрузки вычислительных мощностей графических процессоров (GPU) обычно ниже пиковой вычислительной мощности. Например, в кластере из 1000 графических процессоров этот коэффициент составляет около 59 %, а в кластере из 10 000 графических процессоров — около 55,2 %.

· Чтение обучающих данных становится сдерживающим фактором, что приводит к увеличению продолжительности циклов итерации модели

2.3 Решение LRSV9500-4I

Благодаря гибридному режиму X8 карта LRSV9500-4I может одновременно поддерживать как графический процессор, так и SSD-накопитель NVMe. Например, 2×X8 используется для подключения графических процессоров, а оставшиеся 2×X8 подключаются к 2 SSD-накопителям NVMe в качестве локального кэша. Таким образом, графические процессоры могут считывать данные непосредственно из высокоскоростного локального хранилища, что повышает эффективность обучения в 3–5 раз.

III. Проблемы обеспечения целостности сигнала в PCIe 5.0

3.1 Текущая ситуация

Скорость передачи сигнала по стандарту PCIe 5.0 достигает 32 ГТ/с. Такое удвоение скорости предъявляет чрезвычайно строгие требования к целостности сигнала, что необходимо для обеспечения точности и эффективности передачи данных. Передача на большие расстояния, использование некачественных кабелей или разъемов приводят к затуханию сигнала и увеличению частоты битовых ошибок, а в крайних случаях — к невозможности распознавания оборудования или частым обрывам связи.

3.2 Последствия для бизнеса

· Если в процессе обучения на графическом процессоре произойдет отключение видеокарты, результаты вычислений за несколько дней будут утрачены

· Устройства хранения данных работают на пониженной скорости: вместо PCIe 5.0 — на 4.0 или даже 3.0

· Возникают сбои в работе системы и «синий экран смерти», что негативно сказывается на непрерывности бизнес-процессов

3.3 Решение LRSV9500-4I

В модели LRSV9500-4I реализована высококачественная конструкция печатной платы, использованы высококачественные разъемы и технологии оптимизации сигнала, что обеспечивает стабильную работу интерфейса PCIe 5.0 на полной скорости. Технология PCIe 5.0 обеспечивает скорость последовательного чтения и записи до 14 000 МБ/с и оптимальную производительность при правильной конфигурации. Интерфейс MCIO обеспечивает надежное физическое соединение, а в сочетании с сертифицированными кабелями позволяет эффективно снизить частоту битовых ошибок и гарантировать стабильную работу в режиме 24/7.

IV. Межпроцессорная связь в системах с несколькими графическими процессорами

4.1 Текущая ситуация

В сценариях обучения с использованием нескольких графических процессоров топология соединений между ними напрямую влияет на эффективность обучения. Традиционные решения полагаются на каналы PCIe, предоставляемые центральным процессором, и обмен данными между несколькими картами должен проходить через центральный процессор, что приводит к ограниченной пропускной способности и высокой задержке.

4.2 Последствия для бизнеса

· Эффективность распределенного обучения низкая из-за недостаточной пропускной способности канала связи между графическими процессорами

· При масштабном расширении кластера возникают трудности

4.3 Решение LRSV9500-4I

В режиме X16 устройство LRSV9500-4I обеспечивает эффективную P2P-связь между графическими процессорами через коммутатор, что существенно повышает эффективность обучения с использованием нескольких карт.

В кластерах с разнесёнными хостами с помощью сетевых карт, поддерживающих RoCE v2 (RDMA over Converged Ethernet), графические процессоры могут обходить ЦП и напрямую записывать данные в видеопамять удалённых графических процессоров через сетевой адаптер. Несколько серверов напрямую соединяются между собой, что обеспечивает совместное использование памяти и высокоскоростной обмен данными.

V. Резюме

Основные проблемы, связанные с расширением серверных графических процессоров и систем хранения данных, по сути сводятся к противоречию между ограниченными ресурсами и неограниченным спросом. Благодаря технологии PCIe Switch и гибким режимам разветвления X4/X8/X16, LRSV9500-4I предоставляет предприятиям эффективный путь решения. Будь то обучение ИИ, высокопроизводительные вычисления, анализ больших данных или производство видео, LRSV9500-4I может обеспечить отличные возможности для расширения и защиту инвестиций.

Являясь флагманским продуктом LR-LINK в области PCIe 5.0, модель LRSV9500-4I, благодаря передовой производительности чипа Broadcom PEX89048 и отличной поддержке экосистемы, становится предпочтительным решением для расширения серверов искусственного интеллекта и построения центров обработки данных. Выбор LRSV9500-4I означает выбор гибкой, эффективной и перспективной архитектуры расширения.