대규모 언어 모델과 생성형 AI 기술의 급속한 발전에 따라, AI 추론 서비스는 클라우드 컴퓨팅 및 데이터 센터의 핵심 사업으로 자리 잡고 있습니다. 본 글에서는 한 인터넷 기업의 AI 추론 플랫폼 업그레이드 프로젝트를 사례로 삼아, AI 서버 스토리지 확장 시나리오에서 LRSV9501-2E PCIe 5.0 리타이머 확장 카드의 실제 적용 사례를 소개하며, 유사한 인프라 과제에 직면한 기업들에게 참고 자료를 제공합니다.
한 인터넷 기업은 일반 소비자를 대상으로 AI 어시스턴트 및 지능형 고객 서비스 플랫폼을 운영하고 있습니다. 사용자 수가 급증함에 따라 플랫폼의 AI 추론 요청량이 폭발적으로 증가했고, 이로 인해 기반 인프라의 성능과 확장성에 대한 요구가 더욱 높아졌습니다.
1. 스토리지 성능 병목 현상
AI 추론 서비스는 대용량 모델 파일(단일 모델의 용량이 수십 GB에 달할 수 있음)을 신속하게 불러와야 하며, 추론 과정에서 벡터 데이터베이스에 효율적으로 접근할 수 있어야 합니다. 기존 서버에는 PCIe 4.0 NVMe SSD가 사용되었습니다. 성능은 이미 우수했으나, 높은 동시 접속 시나리오에서는 스토리지 액세스 지연 시간이 시스템 병목 현상이 되어 추론 응답 속도에 영향을 미쳤습니다.
2. 저장 용량 부족
이 플랫폼은 A/B 테스트와 그레이 릴리스를 지원하기 위해 여러 버전의 AI 모델을 배포해야 합니다. 벡터 데이터베이스 및 로그 데이터까지 합치면 단일 서버의 저장 용량 요구량이 10TB를 초과합니다. 표준 2U 서버는 드라이브 베이 수가 제한적이어서 용량 확장 요구 사항을 충족할 수 없습니다.
3. 섀시 공간 제약
이 기업은 표준화된 2U 랙 마운트 서버를 AI 추론 노드로 사용하며, 각 서버에는 4개의 GPU가 장착되어 있습니다. 내부 섀시 공간은 이미 GPU와 전원 공급 장치로 채워져 있어, PCIe 확장 슬롯은 단 1개만 남아 있습니다. 기존의 스토리지 확장 솔루션은 적용할 수 없습니다.
4. 신호 무결성 문제
이 기업은 섀시의 공간 제약을 극복하기 위해 일부 저장 장치를 외부에 배치하고 케이블로 연결할 계획이다. 그러나 PCIe 5.0 신호는 고속 전송 시 신호 감쇠가 심하기 때문에, 안정적인 연결을 보장하기 위해서는 신호 보강 솔루션이 필요하다.
솔루션 설계
기술 평가 결과 LRSV9501-2E가 선정되었습니다(구매하기) 저장 장치 확장 솔루션으로 PCIe 5.0 x16 듀얼 포트 MCIO 리타이머 확장 카드를 사용했습니다. 외부 NVMe SSD 확장 백플레인 및 PCIe 5.0 NVMe SSD와 결합하여 고성능, 대용량 저장 장치 아키텍처를 구축했습니다.
시스템 아키텍처의 주요 특징:
서버의 PCIe 5.0 x16 슬롯에 장착된 LRSV9501-2E는 4x4 레인 분기 모드로 구성되어 있습니다.
두 개의 MCIO 8i 케이블을 통해 외부 NVMe SSD 확장 백플레인에 연결됩니다
8개의 PCIe 5.0 NVMe SSD가 장착된 익스팬더 백플레인 (MCIO 케이블당 SSD 4개)
리타이머 칩은 장거리 전송 시 PCIe 5.0 신호 무결성을 보장합니다
4x4 레인 분할 모드를 사용하여 16개의 PCIe 5.0 레인을 4개의 x4 링크로 나눕니다. 각 x4 링크는 (백플레인 스위칭을 통해) 두 개의 NVMe SSD에 연결되어 PCIe 대역폭을 최대한 활용합니다. 이 구성의 장점은 다음과 같습니다:
높은 장치 밀도: 단일 확장 카드로 8개의 NVMe SSD를 연결할 수 있어 스토리지 밀도가 크게 향상됩니다
균형 잡힌 성능: 각 SSD는 x4 PCIe 5.0 대역폭(약 16GB/s)을 지원하여 고성능 요구 사항을 충족합니다.
유연한 확장성: 하드웨어를 교체하지 않고도 수요에 따라 연결된 기기 수를 조정할 수 있습니다
다음 단계에 따라 하드웨어 배포를 완료하십시오:
1단계: 서버의 전원을 끄고, 전원 케이블을 분리한 후, 정전기 방지 조치를 취하십시오.
2단계: 케이스를 열고 사용 가능한 PCIe 5.0 x16 확장 슬롯을 찾습니다.
3단계: 섀시 높이에 따라 2U 또는 3U 브라켓을 선택하여 LRSV9501-2E 확장 카드를 설치합니다.
4단계: 랙에 외장형 NVMe SSD 확장 백플레인을 설치합니다
5단계: MCIO 8i 케이블을 사용하여 확장 카드를 외부 백플레인에 연결합니다.
6단계: 백플레인에 PCIe 5.0 NVMe SSD 8개를 장착합니다
7단계: 섀시를 닫고 전원을 연결한 다음 전원을 켜서 자체 진단 테스트를 실행합니다.
서버 BIOS 설정 화면으로 들어가 PCIe 슬롯 레인 분할 모드를 4x4로 설정하십시오. 설정을 저장하고 재부팅하면 시스템이 8개의 독립적인 NVMe SSD를 인식합니다.
fio 도구를 사용하여 스토리지를 테스트하십시오 | 시스템 성능 | 결과는 다음과 같습니다 |
단일 드라이브 순차 읽기 | 12.8 GB/s | 약 2배 향상 |
단일 드라이브 순차 쓰기 | 10.2 GB/s | 약 2배 향상 |
단일 드라이브 순차 쓰기 | 48 GB/s | 약 4배 향상 |
4K 임의 읽기 IOPS | 2,400K | 약 3배 향상 |
적용 효과 및 이점
스토리지 업그레이드 후, 대규모 AI 모델 파일의 로딩 속도가 크게 향상되었습니다. 700억 개 매개변수를 가진 대규모 언어 모델을 예로 들면, 로딩 시간이 현저히 단축되었습니다. 이로 인해 모델 전환 및 서비스 재시작 시간이 대폭 단축되어 플랫폼 운영 효율성이 개선되었습니다.
벡터 데이터베이스 쿼리 속도는 AI 추론 응답 시간에 직접적인 영향을 미칩니다. 업그레이드된 스토리지 시스템 덕분에 벡터 검색 지연 시간이 평균 15ms에서 5ms로 단축되어, 종단 간 추론 응답 시간이 약 30% 단축되었으며, 이는 사용자 경험을 크게 향상시켰습니다.
단일 서버의 저장 용량이 대폭 증가하여, 다중 버전 모델 배포 및 빅데이터 저장 요구 사항을 충족합니다. 또한 외부 확장 백플레인 설계 덕분에 향후 추가 확장이 가능합니다.
LRSV9501-2E의 리타이머(Retimer) 기능은 MCIO 케이블을 통해 신호를 전송할 때 PCIe 5.0 신호 무결성을 보장합니다. 구현 후 신호 품질 모니터링 결과, 비트 오류율이 감소하여 엔터프라이즈급 신뢰성 기준을 충족하는 것으로 나타났습니다.
요약 및 경험 공유
AI 서버 스토리지 확장 시나리오에서 LRSV9501-2E의 실용적 가치가 성공적으로 입증되었습니다. 다음은 주요 경험 요약입니다:
1. PCIe 5.0 대역폭을 최대한 활용
PCIe 5.0의 대역폭 향상은 스토리지 확장에 새로운 가능성을 열어줍니다. 합리적인 레인 분할 구성을 통해 단일 확장 카드로 여러 대의 고성능 SSD를 연결하여, 스토리지 성능을 선형적으로 확장할 수 있습니다.
2. 리타이머가 신호 무결성 문제를 해결합니다
외부 스토리지 확장의 가장 큰 과제는 신호 무결성입니다. LRSV9501-2E에 내장된 브로드컴(Broadcom) BCM85657 리타이머 칩은 PCIe 5.0 신호 감쇠 문제를 효과적으로 해결하여 외부 연결을 가능하게 합니다.
3. MCIO 인터페이스의 편의성
MCIO 케이블 연결 솔루션은 섀시 공간의 제약을 극복하여, 더 이상 내부 서버 공간에 구애받지 않고 스토리지를 확장할 수 있게 해줍니다.
4. 플러그 앤 플레이 방식의 배포 환경
LRSV9501-2E는 프로토콜 투명 장치가므로 별도의 드라이버가 필요하지 않으며, CentOS 및 Ubuntu 시스템 모두에서 플러그 앤 플레이 기능을 지원하여 배포 주기를 대폭 단축합니다.
이 프로젝트의 실행 경험을 바탕으로, LRSV9501-2E 다음과 같은 유사한 상황에도 적용할 수 있습니다:
대규모 모델 훈련 플랫폼: GPU 훈련 노드에 고속 데이터 로딩 기능을 제공하여 데이터 전처리 시간을 단축합니다
실시간 추천 시스템: 높은 동시 접속량을 지원하는 특징 벡터 검색을 통해 추천 서비스의 응답 속도를 향상시킵니다
비디오 처리 서비스: 비디오 트랜스코딩 및 분석을 위한 대용량 스토리지 액세스 기능 제공
과학 계산 클러스터: 대규모 데이터 세트의 고속 읽기/쓰기를 지원하여 시뮬레이션 및 모델링 작업의 속도를 높입니다
CXL 메모리 확장: CXL 메모리 확장 모듈을 연결하여 메모리 집약적 애플리케이션을 위한 대용량 메모리 풀을 제공합니다
LRSV9501-2E PCIe 5.0 리타이머 확장 카드는 인터넷 기업의 AI 추론 플랫폼을 위한 고성능의 신뢰성 높은 스토리지 확장 솔루션을 제공합니다. PCIe 5.0의 고속 대역폭과 리타이머의 신호 향상 기능을 통해, 해당 기업은 섀시 공간의 한계를 극복하면서 스토리지 성능을 수 배 향상시켰습니다. AI 인프라를 구축하거나 업그레이드하는 기업에게 LRSV9501-2E는 성능, 확장성 및 신뢰성의 균형을 맞춘 고속 신호 확장 솔루션을 제공합니다. 오늘날 급속히 진화하는 PCIe 5.0 및 CXL 기술 환경에서, 신호 재생 기능을 갖춘 확장 솔루션을 선택하면 향후 기술 업그레이드를 위한 충분한 여유를 확보할 수 있습니다.
2026-04-23