Deoks

Put GPU observations and request completion events on an explicit UTC timeline, then attach only an earlier sample from the correct GPU within a stated age limit. Keep missing, unsupported and stale values visible. This Python lab produces that joined CSV; it does not prove that GPU power or memory caused a slow response. Start here when two dashboards disagree Check the time zone, GPU identity and event boundary first. Run the offline fixture below before collecting anything. A one-second polling setting is not evidence of one-second sensor precision, and a blank power reading is not zero watts. Checked October 27, 2026. Actually executed: CPython 3.14.3 on Windows, standard library only, seven fictional request rows and 26 offline alignment checks. The real collector was attempted once and stopped because nvidia-smi was unavailable on PATH. No GPU telemetry, model output, real TTFT/E2E benchmark or paid API call was collected. Other operating systems were not executed. 1. The t...

nvidia-smi의 GPU-Util 95%는 표본 기간의 대부분에 GPU 커널이 하나 이상 실행됐다는 뜻입니다. GPU의 최대 연산 성능을 95% 달성했다거나, 이용자가 빠른 답을 받았다는 뜻은 아닙니다. AI 서빙 효율을 판단하려면 같은 시간대의 요청 지연·대기열·처리량·전력과 작업 조건을 함께 봐야 합니다. 30초 확인 · ‘95%’가 무엇의 95%인지부터 보세요 대시보드의 지표 설명과 단위를 확인하세요. GPU-Util, SM Activity, 메모리 점유율은 서로 다른 값입니다. 다음으로 같은 관측 구간의 요청 지연과 대기 요청 수를 나란히 확인합니다. 이 숫자 하나만 보고 배치를 키우거나 GPU·전력 설정을 바꾸지 마세요. 기준일: 2026년 10월 27일. NVIDIA nvidia-smi·DCGM 공식 문서와 vLLM의 공개 지표 문서를 확인했습니다. 아래 A·B는 자체 제작한 가상 집계 예시이며 실제 GPU나 LLM 실험이 아닙니다. Node.js 24.14.1·Windows에서 산술·집계 관계 14개만 실행 검증했습니다. 목차 · 지표를 읽기 위한 여섯 용어 GPU-Util: 표본 기간 중 GPU에서 커널이 하나 이상 실행된 시간의 비율입니다. SM: GPU에서 스레드 묶음을 실행하는 연산 단위인 Streaming Multiprocessor입니다. TTFT: 요청을 보내고 첫 출력 토큰을 받기까지의 시간입니다. 측정 시작·종료 경계를 함께 적어야 합니다. 대기열: 도착했지만 아직 실행에 들어가지 못한 요청이 머무는 곳입니다. SLO: 서비스가 정한 지연·성공률 등의 목표입니다. 조건을 충족한 완료 요청을 따로 세면 처리량의 질을 구분할 수 있습니다. token/J: 정해진 범위에서 소비한 에너지 1줄(J)당 생성한 출력 토큰 수입니다. 1. ‘계속 바쁨’과 ‘최대 연산량에 가까움’은 다릅니다 NVIDIA의 nvidia-smi 설명 에서 GPU 사용률은 표본 기간 중 하나 이상의 커널이 실행된 시간 비율입니다. 제품에 따...