GPU 사용률 95%가 효율적인 AI 서빙을 보장하지 않는 이유
nvidia-smi의 GPU-Util 95%는 표본 기간의 대부분에 GPU 커널이 하나 이상 실행됐다는 뜻입니다. GPU의 최대 연산 성능을 95% 달성했다거나, 이용자가 빠른 답을 받았다는 뜻은 아닙니다. AI 서빙 효율을 판단하려면 같은 시간대의 요청 지연·대기열·처리량·전력과 작업 조건을 함께 봐야 합니다. 30초 확인 · ‘95%’가 무엇의 95%인지부터 보세요 대시보드의 지표 설명과 단위를 확인하세요. GPU-Util, SM Activity, 메모리 점유율은 서로 다른 값입니다. 다음으로 같은 관측 구간의 요청 지연과 대기 요청 수를 나란히 확인합니다. 이 숫자 하나만 보고 배치를 키우거나 GPU·전력 설정을 바꾸지 마세요. 기준일: 2026년 10월 27일. NVIDIA nvidia-smi·DCGM 공식 문서와 vLLM의 공개 지표 문서를 확인했습니다. 아래 A·B는 자체 제작한 가상 집계 예시이며 실제 GPU나 LLM 실험이 아닙니다. Node.js 24.14.1·Windows에서 산술·집계 관계 14개만 실행 검증했습니다. 목차 · 지표를 읽기 위한 여섯 용어 GPU-Util: 표본 기간 중 GPU에서 커널이 하나 이상 실행된 시간의 비율입니다. SM: GPU에서 스레드 묶음을 실행하는 연산 단위인 Streaming Multiprocessor입니다. TTFT: 요청을 보내고 첫 출력 토큰을 받기까지의 시간입니다. 측정 시작·종료 경계를 함께 적어야 합니다. 대기열: 도착했지만 아직 실행에 들어가지 못한 요청이 머무는 곳입니다. SLO: 서비스가 정한 지연·성공률 등의 목표입니다. 조건을 충족한 완료 요청을 따로 세면 처리량의 질을 구분할 수 있습니다. token/J: 정해진 범위에서 소비한 에너지 1줄(J)당 생성한 출력 토큰 수입니다. 1. ‘계속 바쁨’과 ‘최대 연산량에 가까움’은 다릅니다 NVIDIA의 nvidia-smi 설명 에서 GPU 사용률은 표본 기간 중 하나 이상의 커널이 실행된 시간 비율입니다. 제품에 따...