GPU·PCIe 토폴로지 읽는 법: nvidia-smi의 SYS·PIX와 NUMA를 해석하기
GPU가 느릴 때는 설정을 바꾸기 전에 nvidia-smi topo -m으로 GPU·NIC 사이의 경로를 보고, lspci의 PCI 트리와 numactl의 NUMA 노드 정보를 함께 확인 하세요. SYS·PIX·NV#는 연결 경로의 종류이지 실측 GB/s나 성능 점수가 아닙니다. 토폴로지는 병목의 후보를 좁히는 지도이고, 병목을 확정하는 벤치마크는 아닙니다. 30초 확인: 증상별로 무엇부터 볼까? GPU끼리 통신할 때만 느리다 → 해당 GPU 쌍의 topo -m 경로를 확인합니다. SYS라고 즉시 불량으로 판정하지 않습니다. GPU로 데이터를 넣을 때 느리다 → GPU의 CPU·NUMA 친화도와 데이터 준비 프로세스의 위치를 비교할 단서를 모읍니다. 아직 CPU 바인딩은 바꾸지 않습니다. VM·컨테이너에서 장치가 덜 보인다 → 현재 화면이 호스트 전체가 아닌 게스트·컨테이너의 관측 범위인지 확인합니다. 권한 확대나 보안 설정 해제부터 하지 않습니다. 적용 범위: NVIDIA 드라이버와 관련 도구가 준비된 Linux 서버의 읽기 전용 점검입니다. 문서 확인일은 2026-10-24 KST입니다. 실제 장비의 드라이버·도구 버전과 지원 옵션은 현장에서 확인해야 합니다. 이 글의 Linux 하드웨어 명령은 미실행이며, 아래 행렬과 도식은 설명용 가상 예시입니다. 목차와 한 줄 정의 토폴로지·PCIe·NUMA : 장치가 어디에 연결돼 있고 어느 CPU·메모리 노드와 가까운지 읽는 개념입니다. 읽기 전용 명령 : 버전, 연결 행렬, PCI 트리, 노드 목록을 구분해 봅니다. SYS·PIX 행렬 해석 : 경로 기호와 친화도를 별도로 읽습니다. 서로 대조하기 : 장치 주소와 관측 환경을 맞춥니다. VM·컨테이너와 실패 조건 : 보이지 않는 정보를 없는 하드웨어로 단정하지 않습니다. 요약·비교와 Appendix : 실행 여부와 다음 측정의 경계를 확인합니다. 1. GPU 번호보다 연결 경로를 먼저 읽는다 토폴로지(topology) 는 GPU, 네트워크 카드(NI...