글

라벨이 AllReduce인 게시물 표시

400Gb/s면 얼마나 빠를까? Python으로 분산 AI 통신 시간 계산하기

분산 AI 통신의 이상적인 전송 시간은 ‘보낼 데이터량 ÷ 같은 경계의 대역폭’으로 계산합니다. 400Gb/s에서 64MiB를 한 번 보내는 직렬화 시간은 약 1.342ms이고, 아래 8-rank All-Reduce 모델의 하한은 약 2.349ms입니다. 두 값은 장비 실측이나 LLM 응답 시간 예측이 아닙니다. 데이터 단위, 참여자 수, 통신량과 병목 대역폭의 범위를 먼저 맞춰야 합니다. 30초 확인 · 계산이 8배쯤 다르면 b와 B부터 보세요 입력 크기가 MB인지 MiB인지, 속도가 Gb/s인지 GB/s인지 확인하세요. 다음 행동은 아래 계산기를 로컬에서 실행해 기준값을 만드는 것입니다. 네트워크 설정이나 권한을 바꿀 필요는 없습니다. 포트 속도를 전체 AI 작업의 처리량으로 읽지 마세요. 2026년 10월 26일 확인. Windows 11·Python 3.14.3에서 산술·단위·입력 검증 20개와 예제 프로그램 출력을 실제 실행했습니다. GPU·NCCL·네트워크 전송·LLM 벤치마크는 실행하지 않았습니다. 숫자와 효율 70%는 설명용 가정입니다. 목차 · 먼저 익힐 용어 payload: 전송 대상 데이터 본체. 헤더와 재전송 같은 부가 비용과 구분합니다. 직렬화 시간: 정해진 데이터 비트를 링크로 내보내는 데 필요한 시간입니다. rank: 집단 통신에 참여하는 프로세스의 식별 단위입니다. All-Reduce: 참여자들의 대응 원소를 합산 등으로 결합해 모두에게 결과를 주는 집단 통신입니다. 효율 η: 이 계산기에서 가정한 유효 대역폭과 명목 대역폭의 비율입니다. 하한: 정해진 모델과 가정 아래 가능한 가장 짧은 시간입니다. 모든 장비에 적용되는 보편적 보장은 아닙니다. 1. 단위를 맞추면 400Gb/s는 50GB/s가 됩니다 소문자 b는 bit, 대문자 B는 byte입니다. 1byte는 8bit이므로 400Gb/s ÷ 8 = 50GB/s입니다. 여기서 G는 10⁹, Mi는 2²⁰입니다. NIST의 단위 정의 처럼 MB와 MiB를 ...

All-Reduce vs. All-to-All: Why AI Network Traffic Patterns Differ

All-Reduce combines corresponding values and gives the combined result to every participant. All-to-All redistributes different chunks to different participants without doing that reduction. They solve different problems. A network that handles one well can still struggle with the other because message sizes, destinations, synchronization and the physical routes differ. Start with the operation, not the port speed Before comparing AI cluster bandwidth numbers, identify the collective, group size, payload size, data type and rank placement. Keep the workload fixed. A faster All-Reduce score is not evidence of faster expert routing, and fewer bytes in an example do not make All-to-All a replacement for All-Reduce. Evidence checked October 26, 2026, Korea time: NCCL 2.32.3 documentation, PyTorch 2.14 documentation and the public Megatron Core implementation. The diagrams and numbers are original synthetic examples. Fourteen local Node.js assertions checked their arithmetic and data la...