LLM 추론 성능 지표 이해하기, TTFT·TPOT·ITL부터 처리량까지
DEOKS · TECH LEARNING LLM PERFORMANCE LLM이 빠르다는 말은 첫 반응, 답을 이어 쓰는 속도, 전체 처리량 중 무엇을 재는지에 따라 달라집니다. 이 글에서는 TTFT·TPOT·ITL과 처리량을 정의부터 예시·계산 방법까지 차례로 살펴봅니다. 첫 글자는 빨리 나오는데 답변 중간에 멈추는 챗봇을 떠올려보세요. “첫 반응은 빠르다”와 “끝까지 매끄럽게 읽힌다”는 서로 다른 평가입니다. 여기에 여러 사람을 동시에 처리하는 서버의 능력까지 구분하면 성능표가 훨씬 명확해집니다. 다루는 범위는 LLM 추론 서비스의 응답 속도와 처리 능력 입니다. 추론 문제의 정답률은 별도 평가해야 합니다. 모든 그림·GIF의 수치는 교육용 가정이며 특정 모델·GPU의 실측 결과가 아닙니다. 이번 글의 목차와 용어 핵심 용어 정의 한눈에 보기 → 1. 기본 준비 — Token · Tokenizer · ISL · OSL · Prefill · Decode · KV Cache → 2. TTFT — 첫 반응까지의 기다림 → 3. TPOT — 첫 토큰 이후의 평균 속도 → 4. ITL · Chunk · ICL — 스트리밍의 끊김 → 5. Latency(E2E) — 답변 완료까지의 시간 → 6. Throughput · TPS · RPS — 전체 처리 능력 → 7. Concurrency · Request Rate · Batching — 부하 조건 → 8. P50 · P95 · P99 · SLO · Goodput — 느린 경험과 목표 → 9. 그래서 어떻게 재고 계산하나요? → 10. 요약 — 어떤 지표를 먼저 볼까? → Appendix. 캐싱 · 입력 분할 · 양자화 · 추측 디코딩 → 공식 출처와 자료 사용 안내 → 핵심 용어 정의 한눈에 보기 용어 먼저 기억할 정의 TTFT 요청부터 첫 내용 토큰을 받을 때까지의 시간. TPOT 첫 토큰 이후, 출력 토큰당 걸리는 평균 시간. ITL 이어지는 출력 사이의 간격. 제품에 따라 평균 간격을 뜻하기도 합니다. L...
