32 GB/s. 이는 추가형 네트워크 카드에서 가장 흔히 사용되는 슬롯 규격인 PCIe Gen3 x4 슬롯의 양방향 대역폭 상한선입니다. 단일 100GbE NIC는 한 방향으로 12.5 GB/s를 전송할 수 있습니다. 간단히 계산해 보면, Gen3 x4 파이프를 라인 속도로 가득 채우는 데 2.5초가 걸립니다. 이제 방향당 64 GB/s를 지원하는 Gen4 x16 슬롯으로 바꾸면 상황은 완전히 달라집니다. NIC를 꽂는 슬롯은 NIC 자체만큼이나 중요합니다.
NIC를 비교하기 전에 PCIe 레인에 대한 기본 수치를 파악해야 합니다. 다음은 각 PCIe 세대와 슬롯 조합이 실제로 한 방향으로 제공하는 성능입니다. 이해하기 PCIe 레인 또한 이 대역폭 정보는 NIC에 적합한 슬롯을 매칭하는 데 필수적입니다:
| PCIe 세대 | 레인당 속도 | x4 총합 | x8 총합 | x16 총합 | |----------|---------------|----------|----------|-----------| | Gen3 | 985 MB/s | 3.94 GB/s | 7.88 GB/s | 15.76 GB/s | | Gen4 | 1.97 GB/s | 7.88 GB/s | 15.75 GB/s | 31.51 GB/s | | Gen5 | 3.94 GB/s | 15.75 GB/s | 31.50 GB/s | 63.01 GB/s |
이는 이론상 최대치입니다. 실제 처리량은 인코딩 오버헤드와 프로토콜 헤더로 인해 3~5% 정도 낮아집니다. PCIe Gen3는 128b/130b 인코딩 방식을 사용하므로, 인코딩만으로 약 1.5%의 손실이 발생합니다. Gen4와 Gen5는 동일한 인코딩 방식을 사용하므로, 오버헤드 비율은 세대 간에 일관되게 유지됩니다(PCI-SIG, PCIe 기본 사양 Rev 5.0).
핵심 요점: Gen3 x4 슬롯은 PCIe 레인을 통해 약 3.8 GB/s의 사용 가능한 대역폭을 제공합니다. Gen4 x8은 8개의 PCIe 레인을 통해 약 15 GB/s를 제공합니다. Gen5 x16은 16개의 PCIe 레인 전체에서 대략 60 GB/s의 대역폭을 제공합니다. 이러한 등급 간의 차이는 점진적인 것이 아닙니다. 이는 NIC가 최대 속도로 작동할지, 아니면 성능 한계에 부딪힐지를 결정하는 단계적인 도약입니다.
바로 이곳에서 이론이 실제 하드웨어와 만나게 됩니다. 네트워크 카드는 PCIe 슬롯이 각 방향별로 포트 속도와 최소한 동등한 대역폭을 제공해야 합니다. 전이중 트래픽이란 25GbE NIC가 각 방향에서 동시에 25 Gbps(약 3.1 GB/s)의 대역폭을 필요로 한다는 것을 의미합니다.
| NIC 속도 | 전이중 대역폭 | 최소 슬롯 (Gen3) | 최소 슬롯 (Gen4) | 여유로운 장착 | |-----------|----------------------|---------------------|---------------------|-----------------| | 10GbE | 2.5 GB/s (각 방향) | x4 (3.94 GB/s) | x4 (7.88 GB/s) | x4 Gen3 | | 25GbE | 6.25 GB/s (각 방향) | x8 (7.88 GB/s) | x4 (7.88 GB/s) | x8 Gen3 | | 100GbE | 12.5 GB/s (각 방향) | x16 (15.76 GB/s) | x8 (15.75 GB/s) | x8 Gen4 또는 x16 Gen3 | | 200GbE | 25 GB/s (각 방향) | 불가능 | x16 (31.51 GB/s) | x16 Gen4 | | 400GbE | 50 GB/s (각 방향) | 불가 | 불가 | x16 Gen5 |
불편한 진실: 대부분의 서버 마더보드는 x16 슬롯 하나와 x8 슬롯 한두 개를 기본으로 제공하며, 나머지 슬롯은 x4 또는 심지어 x1로 배선되어 있습니다. 100GbE 듀얼 포트 카드를 장착하면 NIC Gen3 x8 슬롯에 장착할 경우, PCIe 레인 대역폭의 30~40%를 제대로 활용하지 못하게 됩니다. 이 NIC 물리적으로 장착할 수 있습니다. 전기적 경로는 마련되어 있습니다. 하지만 해당 슬롯은 카드가 필요로 하는 데이터 경로의 절반에 대해서만 배선이 되어 있습니다.
PCIe x4 슬롯은 더 이상 쓸모없는 것이 아닙니다. 10GbE 네트워킹에 있어서는 이 슬롯이 충분한 여유를 제공합니다. 이 LRES1016PF-SFP+, 인텔 82599 컨트롤러를 기반으로 한 이 제품은 x4 슬롯용으로 설계된 단일 포트 10G SFP+ NIC입니다. Gen3 x4 연결을 통해 여유 있는 성능으로 10GbE 라인 속도를 온전히 제공합니다. 고대역폭 슬롯 수가 제한된 서버에서, 실제로 고대역폭이 필요한 카드에는 x8 및 x16 슬롯을 할당하고, x4 슬롯을 통해 10GbE 관리 트래픽이나 대역 외 트래픽을 처리하는 것은 합리적인 설계 방식입니다.
x4 슬롯은 10GbE 구리 케이블에서도 작동합니다. 이 LREC9811BT 인텔 X550 컨트롤러를 사용하여 PCIe x4 인터페이스를 통해 표준 Cat6a 케이블로 10GBASE-T를 전송합니다. 광케이블 사용이 현실적으로 어려운 환경에서 이 솔루션은 슬롯 비용을 낮게 유지하면서도 완전한 10G 성능을 제공합니다.
원칙은 간단합니다. NIC 속도가 x4 PCIe 레인 대역폭 내에 여유 있게 들어맞고, 최소 20%의 여유 용량이 있다면 x4가 올바른 선택입니다. 3.94 GB/s Gen3 x4 슬롯에서 양방향 각각 1.25 GB/s의 속도를 내는 10GbE는 사용 가능한 PCIe 레인 대역폭의 32%만 사용합니다. 이는 여유로운 수준입니다.
25GbE 세대는 x8 영역에 정확히 속합니다. 다음과 같은 듀얼 포트 25GbE NIC는 LRES1027PF-4SFP28 (Intel E810, 4x SFP28)는 4개 포트 모두에서 최대 라인 속도로 작동하려면 PCIe x8 Gen3 또는 x4 Gen4가 필요합니다. Gen3 x8 슬롯에서는 방향당 7.88 GB/s의 대역폭을 제공합니다. 풀 듀플렉스 모드의 25GbE 포트 4개에는 총 12.5 GB/s의 양방향 대역폭이 필요하며, Gen3 x8 슬롯은 방향당 7.88 GB/s(양방향 15.76 GB/s)를 처리할 수 있습니다. 계산상으로는 문제가 없습니다.
x8 슬롯은 구형 서버 플랫폼에서도 100GbE 단일 포트 카드를 사용할 수 있게 해주는 곳이기도 합니다. 이 LRES1019PF-QSFP28 100GbE 연결을 위해 단일 QSFP28 포트를 갖춘 인텔 E810 컨트롤러를 사용합니다. Gen4 x8 슬롯에서 방향당 15.75 GB/s의 속도를 제공하며, 이는 100GbE 라인 속도를 완전히 지원하기에 충분합니다. Gen3 x8 슬롯에서는 방향당 7.88 GB/s의 속도를 제공하며, 이로 인해 처리량은 방향당 약 63 Gbps로 제한됩니다. 많은 워크로드, 특히 다음과 결합될 경우 점보 프레임 MTU를 조정하여 패킷 오버헤드를 줄이는 것은 허용됩니다.
100GbE 듀얼 포트 또는 200GbE 싱글 포트의 경우, x16은 선택 사항이 아닙니다. 이 LRES1014PF-2QSFP28 인텔 E810 컨트롤러에 100GbE QSFP28 포트 2개를 탑재하고 있습니다. 두 포트 모두 최대 라인 속도에서 양방향으로 25 GB/s의 대역폭을 요구합니다. Gen3 x16 슬롯은 16개의 PCIe 레인을 통해 방향당 15.76 GB/s(양방향 31.52 GB/s)의 대역폭을 제공합니다. Gen4 x16은 동일한 수의 PCIe 레인을 사용하여 방향당 31.51 GB/s의 대역폭을 제공합니다. 여유 용량을 갖춘 듀얼 포트 100GbE의 경우, Gen4 x16이 목표 사양입니다.
200GbE 및 400GbE 어댑터의 경우, PCIe Gen5 x16만이 병목 현상을 방지할 수 있는 유일한 옵션입니다. Broadcom BCM57608 컨트롤러를 기반으로 하는 LRES1260PF-QSFP112는 QSFP112 커넥터를 통해 400GbE를 제공합니다. 방향당 50 GB/s의 속도를 내기 위해서는 Gen5 x16 슬롯의 모든 레인을 사용하여 최대 속도로 작동해야 합니다. 이 제품을 Gen4 x16 슬롯에 장착하면 방향당 31.51 GB/s로 속도가 제한되어, NIC 성능의 약 37%가 활용되지 않게 됩니다.
대부분의 사람들이 예상치 못한 부분이 바로 여기입니다. 마더보드에 물리적으로 x16 슬롯이 있다고 해서 항상 전기적으로 x16으로 배선되어 있는 것은 아닙니다. 많은 서버 보드에서는 두 번째 x16 길이의 슬롯을 x8 또는 심지어 x4로 배선하여 다른 슬롯이나 M.2 커넥터와 레인을 공유합니다. 슬롯에 물리적으로 장착되는 NIC는 전기적 레인 수에 맞춰 자동으로 조정됩니다.
NIC를 구매하기 전에 다음 세 가지를 확인하세요:
1. 마더보드 설명서의 슬롯 사양 표. 단순히 물리적 커넥터 크기만 보지 말고, 전기적 레인 수를 확인하세요. “x16 (x4 모드)”라고 표시된 슬롯은 16개가 아닌 4개의 레인을 제공합니다.
2. 차로 공유 규칙. 많은 메인보드에서 PCIe 슬롯과 NVMe M.2 슬롯 간에 레인을 공유합니다. M.2 드라이브를 장착하면 x16 슬롯의 대역폭이 x8로 줄어들 수 있습니다. 메인보드 설명서에는 이러한 레인 공유 구성이 표로 정리되어 있는데, 대개 사양 섹션 깊숙한 곳에 위치해 있습니다.
3. CPU 레인 할당량. CPU는 고정된 수의 PCIe 레인을 제공합니다. 인텔 제온 스케일러블(Sapphire Rapids)의 경우, CPU에서 80개의 PCIe Gen5 레인을 사용할 수 있습니다. AMD EPYC(Genoa)의 경우, 128개의 PCIe Gen5 레인을 사용할 수 있습니다. 레인 수가 많은 NIC, GPU 또는 NVMe 드라이브를 여러 개 장착할 경우, 물리적 슬롯이 다 떨어지기 전에 CPU의 PCIe 레인 할당량이 소진될 수 있습니다.
2026년에 이루어지는 대부분의 서버 구축 사례에 대해, 실질적인 권장 사항은 워크로드별로 다음과 같이 나뉩니다:
패턴은 일관됩니다. PCIe 레인 대역폭을 NIC 속도에 맞추되, 프로토콜 오버헤드를 고려해 최소 15~20%의 여유분을 확보해야 합니다. 이보다 여유가 적으면 사용할 수 없는 네트워크 대역폭에 비용을 지불하게 됩니다.
물리적으로는 아닙니다. x8 카드는 슬롯이 개방형(오픈 엔드)이 아닌 한 x4 슬롯에 끼울 수 없습니다(일부 서버 메인보드에는 x8 카드를 지원하는 개방형 x4 슬롯이 있습니다). 전기적인 측면에서는, 설령 물리적으로 들어간다 하더라도 카드가 x4 속도로 자동 조정되어 NIC에 병목 현상이 발생할 수 있습니다. 이를 시도하기 전에 항상 마더보드 설명서를 확인하여 슬롯 호환성을 확인하십시오.
둘 다 중요하지만, 그 중요성은 각기 다른 방식입니다. PCIe 레인 카운트는 대역폭의 상한을 결정합니다. 세대는 레인당 속도를 결정합니다. Gen4 x4 슬롯(7.88 GB/s)은 순수 대역폭 측면에서 Gen3 x8 슬롯(7.88 GB/s)과 동일합니다. 메인보드가 Gen4를 지원하는 경우, 더 적은 수의 PCIe 레인을 사용해도 동일한 처리량을 달성할 수 있습니다. NIC의 경우, 이는 Gen3 메인보드에서는 x8이 필요했던 25GbE 카드를 Gen4 x4 슬롯에서 완벽하게 지원할 수 있음을 의미합니다.
리눅스에서 `lspci -vvv -s` 명령을 실행합니다.
네. PCIe는 물리적 수준과 프로토콜 수준에서 완벽한 하위 및 상위 호환성을 갖추고 있습니다. Gen4 슬롯에 Gen5 NIC를 장착하면 Gen4 속도와 Gen4 슬롯에서 사용할 수 있는 레인 대역폭으로 협상됩니다. Gen5의 레인당 속도 이점은 잃게 되지만, 카드는 정상적으로 작동합니다. 반대의 경우도 마찬가지입니다. Gen5 슬롯에 Gen4 NIC를 장착하면 Gen4 속도로 작동합니다.