AI 네트워크 Ethernet vs InfiniBand, 포트 속도만으로 고르면 안 되는 이유
AI 네트워크에서 Ethernet과 InfiniBand의 우열은 포트 속도 하나로 정해지지 않습니다. 같은 GPU 수와 통신 패턴에서 RDMA 경로, 혼잡할 때의 지연, 소프트웨어·운영 조건을 함께 비교해야 합니다. Ethernet도 RoCE로 RDMA를 사용할 수 있으므로, ‘Ethernet은 TCP, InfiniBand만 RDMA’라는 구분부터 바로잡는 것이 출발점입니다.
먼저 확인할 질문 세 가지
- 시간을 잡아먹는 것이 큰 데이터의 집단 통신인가, 자주 반복되는 작은 메시지인가?
- 한 작업만 돌릴 때가 아니라 여러 작업이 겹쳐도 지연과 처리량이 유지되는가?
- 기존 NIC·스위치·드라이버·운영 인력으로 해당 구성을 검증하고 유지할 수 있는가?
확인일: 2026-10-25 KST. NCCL 2.32.3 문서, NVIDIA DOCA 3.4.0 보관 문서와 공식 네트워킹 자료를 기준으로 작성했습니다. 아래 수치는 모두 가상 조건의 산술 예시입니다. 실제 네트워크·GPU·LLM 벤치마크나 유료 API는 실행하지 않았습니다.
목차와 한 줄 정의
- Ethernet·InfiniBand·RDMA: 네트워크와 메모리 전송 방식을 같은 층위로 섞지 않습니다.
- 통신 패턴과 혼잡: 평균 대역폭과 늦게 끝나는 작업을 나눠 봅니다.
- Scale-up과 scale-out: 어느 장치 사이의 경로를 비교하는지 먼저 정합니다.
- 200→400Gb/s 가상 계산: 통신만 빨라진 경우 전체 작업 시간의 변화를 계산합니다.
- 선택 기준과 사업 해석: 실효 성능·운영 비용·검증 조건을 함께 묻습니다.
- 요약·Appendix·출처: 실제 실행 범위와 비교의 한계를 확인합니다.
1. Ethernet과 RDMA는 반대말이 아니다
Ethernet과 InfiniBand는 서로 다른 네트워크 기술·생태계입니다. RDMA(Remote Direct Memory Access)는 원격 시스템의 메모리를 이용하는 데이터 전송 방식으로, 적절한 하드웨어·소프트웨어 지원 아래 전송 과정의 CPU 부담을 줄일 수 있습니다. 그렇다고 애플리케이션의 CPU 작업이나 초기 연결 과정까지 모두 사라진다는 뜻은 아닙니다.
RoCE는 Ethernet에서 RDMA를 사용하는 방식입니다. RoCEv2는 RDMA 트래픽을 UDP/IP 패킷으로 감싸 IP 라우터를 지날 수 있게 합니다. TCP 소켓 전송과 같은 경로로 취급해서는 안 됩니다. 다만 Ethernet 포트가 있다는 사실만으로 RoCE 구성과 애플리케이션의 RDMA 사용까지 검증되는 것은 아닙니다. NIC·드라이버·경로·설정이 맞아야 합니다. NVIDIA DOCA 3.4.0 RoCE 설명
InfiniBand에도 운영 조건이 있습니다. NCCL의 문제 해결 문서는 InfiniBand 패브릭에서 Subnet Manager가 동작하는지, 포트의 링크 계층·속도·활성 상태가 기대한 구성과 맞는지 확인하도록 안내합니다. 따라서 ‘한쪽은 연결만 하면 되고 다른 쪽만 설정이 복잡하다’는 이분법도 실제 도입 판단에는 부족합니다.
2. 같은 Gb/s라도 작업이 보내는 메시지는 다르다
AllReduce는 여러 rank의 값을 합산하는 등의 연산을 수행하고 결과를 각 rank가 받는 집단 통신입니다. AllGather는 각 rank의 데이터를 모아 모두에게 전달하고, AlltoAll은 각 rank가 상대별로 다른 데이터를 교환합니다. 여기서 rank는 통신에 참여하는 논리적인 참여자 번호이지, 항상 물리 서버 한 대를 뜻하지는 않습니다. NCCL 2.32.3 집단 통신 정의
큰 메시지를 길게 보내는 구간과 작은 메시지를 자주 주고받는 구간은 대역폭·시작 지연의 영향을 다르게 받습니다. 통신 대상이 고르게 나뉘는지, 특정 링크나 목적지로 몰리는지도 비교 질문입니다. 모델명만 같다고 통신이 같은 것은 아닙니다. 병렬화 방식, GPU 수, 배치와 메시지 크기가 달라지면 네트워크가 담당하는 일이 바뀝니다.
혼잡 조건의 지연도 따로 봐야 합니다. 평균은 양호해도 일부 통신이 늦어지면, 해당 통신 결과를 기다리는 단계의 종료 시점에 영향을 줄 수 있습니다. p95는 관측값의 95번째 백분위수이며 ms 같은 시간 단위로 표시합니다. 무엇의 p95인지도 중요합니다. 포인트투포인트 전송 지연, 집단 통신 완료 시간, 전체 요청 지연은 서로 다른 측정 대상입니다.
NCCL 문서는 대역폭이 정상처럼 보여도 꼬리 지연이 나쁠 수 있다고 설명합니다. RoCE에서는 환경이 제공하는 PFC·ECN·CNP·큐 드롭 카운터 등을 지연 변화와 함께 살펴보도록 안내합니다. 각각 흐름 제어·혼잡 표시·혼잡 통지·큐 손실을 해석할 단서입니다. 이는 관측과 원인 확인의 순서이지, 모든 Ethernet에 같은 설정을 일괄 적용하라는 지침이 아닙니다. 이 글은 PFC·방화벽·운영 설정을 변경하지 않습니다. NCCL 네트워킹 문제 해결
3. Scale-up과 scale-out의 경계를 먼저 그린다
Scale-up은 긴밀하게 연결된 가속기 자원의 영역을 확장하는 맥락, scale-out은 여러 노드·시스템을 네트워크로 연결해 확장하는 맥락에서 쓰입니다. 단, 두 용어를 ‘무조건 서버 내부’와 ‘무조건 서버 외부’로만 고정하면 실제 제품 설계를 놓칠 수 있습니다. 비교할 때는 논리적 통신 영역과 물리 경로를 함께 적어야 합니다.
NVIDIA가 소개하는 네트워킹 구성에서는 NVLink를 scale-up, Quantum InfiniBand와 Spectrum-X Ethernet을 scale-out에 배치합니다. 이 설명은 해당 플랫폼의 역할 구분이지, 모든 업체의 Ethernet이 scale-out 전용이라는 증거는 아닙니다. 서버 간 NIC 포트 속도를 비교하면서 다른 GPU 연결 영역의 대역폭을 같은 분모에 넣지 않는 것이 핵심입니다. NVIDIA 공식 네트워킹 구성
제품 순위가 아닌 비교 순서
① 통신 영역을 지정
어느 GPU·rank·노드 사이인가?
실제 경로가 비교 대상인가?
↓ 같은 영역·조건을 고정
② 전송 경로와 부하를 지정
InfiniBand / Ethernet의 RoCE 또는 소켓 경로
메시지 크기 · 동시 작업 · 혼잡 조건
↓ 작업이 기다리는 구간을 측정
③ 애플리케이션 지표로 검증
학습 step 시간 또는 추론 요청 지연
평균뿐 아니라 p95 · 오류 · 재현 조건
현재 장비의 연결부터 읽고 싶다면 같은 언어의 GPU·PCIe 토폴로지와 SYS·PIX·NUMA를 해석하는 실습이 출발점입니다. 토폴로지를 확인한 것과 실제 RDMA 성능을 측정한 것은 여전히 다른 단계입니다.
4. 링크가 두 배 빨라져도 전체 작업은 두 배가 아니다
가상 조건을 정해 보겠습니다. 8개 rank가 하나의 균일한 링에서 AllReduce를 수행하고, rank마다 입력 메시지는 512MiB라고 가정합니다. 각 rank의 송신 링크를 200Gb/s 또는 400Gb/s로 놓습니다. 이는 Ethernet과 InfiniBand에 각각 붙인 수치가 아니며, 특정 NIC·스위치의 측정값도 아닙니다.
이 단순 링 모델의 rank당 송신량은 메시지 바이트 × 2 × (rank 수 − 1) ÷ rank 수로 계산합니다. 8개 rank이면 계수는 1.75이므로 512MiB × 1.75 = 896MiB입니다. rank 하나의 송신량이며 송신·수신을 더한 값이나 클러스터 전체 합계가 아닙니다. NCCL tests 문서도 AllReduce의 대역폭 해석에 같은 2(n−1)/n 계수를 사용하지만, 실제 알고리즘·토폴로지의 실행 결과를 이 식만으로 예측해서는 안 됩니다. NCCL tests 성능 지표 설명
단위는 1MiB = 1,048,576바이트, 1Gb/s = 10억 비트/초입니다. 8비트 = 1바이트이므로 200Gb/s는 25GB/s, 400Gb/s는 50GB/s입니다. 여기서는 명목 링크 속도를 전부 데이터 전송에 쓸 수 있다고 가정하며, 헤더·시작 지연·혼잡·재전송·다른 공유 부하는 모두 제외합니다. 현실보다 낙관적인 산술 모델입니다.
| 가상 조건 | 계산 결과 |
|---|---|
| 200Gb/s 896MiB 송신 | 통신 약 37.58ms 고정 계산 80ms와 직렬 합: 117.58ms |
| 400Gb/s 동일한 송신량 | 통신 약 18.79ms 고정 계산 80ms와 직렬 합: 98.79ms |
| 전체 작업 비교 | 시간 약 15.98% 감소 처리 속도 약 1.19배 |
두 경우 모두 계산 시간 80ms는 같고, 계산과 통신이 겹치지 않는다고 가정했습니다. 그래서 통신 시간이 절반이 되어도 전체 시간은 절반이 되지 않습니다. 실제 작업은 통신·계산 중첩이나 다른 병목이 있어 결과가 달라질 수 있습니다. 이 계산을 LLM의 토큰 처리량이나 제품 우위로 바꿔 말할 수는 없습니다.
5. 무엇이 유리한지는 이 조건으로 비교한다
| 우선순위 | 양쪽 구성에 같은 질문 |
|---|---|
| 집단 통신이 긴 작업 | 같은 rank 수·메시지 크기·연산에서 완료 시간과 확장 효율이 어떤가? |
| 지연에 민감한 작업 | 같은 요청 조건과 동시성에서 p95·오류·목표 충족률이 유지되는가? |
| 여러 작업이 공유 | 단독 시험뿐 아니라 동시 작업·혼잡·링크 장애 조건에서 얼마나 흔들리는가? |
| 도입·운영 비용 | NIC·스위치·광케이블·운영 소프트웨어·인력·전환 시간까지 포함하면 어떤가? |
기존 Ethernet 운영 경험과 장비를 활용할 수 있다는 점은 검토할 조건입니다. 하지만 기존 장비가 목표한 RoCE·혼잡 제어·패브릭 구성을 지원하는지 확인하기 전에는 ‘재사용하니 무조건 저렴하다’고 결론 낼 수 없습니다. InfiniBand도 지원하는 집단 통신 기능과 운영 도구를 실제 워크로드에서 검증해야 합니다. 어느 쪽이든 포트 가격 하나가 총비용은 아닙니다.
사업 관점에서도 Ethernet의 확대를 곧바로 특정 회사의 패배로 읽으면 단순화가 지나칩니다. NVIDIA는 공식 자료에서 Spectrum-X Ethernet과 Quantum InfiniBand를 모두 제공합니다. 제품군의 존재는 확인된 사실이지만, 어느 구성이 더 팔리거나 더 높은 이익을 낼지는 별도의 출하·매출·비용 자료가 필요한 질문입니다. 이 글은 시장점유율·매출 전망이나 투자 추천을 제시하지 않습니다.
6. 요약: 네트워크 이름보다 같은 작업의 완료 시간을 본다
Ethernet도 RDMA를 사용할 수 있고, InfiniBand도 구성과 운영 검증이 필요합니다. 먼저 통신 영역과 작업 패턴을 고정한 뒤, 혼잡 조건을 포함한 실효 성능과 운영 비용을 비교하는 것이 순서입니다. 네트워크 대역폭 결과를 GPU 연산 성능·LLM 처리량으로 바로 치환하지 마세요.
추론 서비스를 평가한다면 평균 처리량과 목표를 지킨 요청의 비율도 구분해야 합니다. 관련 한글 분석인 LLM Goodput과 SLO 충족률을 함께 읽는 법에서 애플리케이션 쪽 판단 기준을 이어 볼 수 있습니다.
Appendix. 계산·실행 여부와 비교의 한계
- 실제 실행: Windows x64·Node.js 24.14.1에서 가상 데이터의 단위 변환·송신량·시간 계산과 8개 assertion을 실행했습니다.
- 미실행: NIC·스위치·네트워크 트래픽 생성, NCCL tests, GPU·LLM 벤치마크입니다. 실제 하드웨어의 전송 속도나 두 네트워크의 승자를 측정한 글이 아닙니다.
- 버전·범위: NCCL 2.32.3, DOCA 3.4.0 보관 문서, NCCL tests upstream master 확인본을 사용했습니다. 보관·master 문서가 사용자의 설치 버전과 같다는 보장은 없습니다.
- 중단·보류 조건: 링크 계층·RDMA 사용 여부·메시지 크기·rank 수·동시성·오류 조건을 알 수 없으면 비교 불가로 남깁니다. 허가되지 않은 원격 서버 테스트나 보안·방화벽·드라이버 변경은 하지 않습니다.
출처 · 2026-10-25 KST 확인
- NCCL 2.32.3 Collective Operations — 집단 통신과 rank별 의미.
- NCCL 2.32.3 Networking Troubleshooting — 링크·대역폭·꼬리 지연·RoCE 혼잡 관측.
- NVIDIA DOCA 3.4.0 RoCE — Ethernet RDMA와 RoCEv2 UDP/IP 구분.
- NVIDIA nccl-tests PERFORMANCE.md — algbw와 집단 통신 보정 busbw. busbw는 하드웨어 카운터로 직접 잰 총 트래픽이 아니라 계산된 지표입니다.
- NVIDIA Networking — NVLink·Spectrum-X Ethernet·Quantum InfiniBand의 제시 역할. 업체의 배수 성능 광고를 양쪽의 공정한 실측 비교로 인용하지 않았습니다.
댓글
댓글 쓰기
안녕하세요 :)