LLM Goodput이 높아도 충분한 용량일까? SLO 충족률로 가려보기
LLM의 Goodput이 높아져도 서비스 용량이 충분하다고 단정할 수는 없습니다. 목표를 지킨 요청이 초당 몇 개였는지와, 전체 시도 중 몇 %가 목표를 지켰는지는 다른 질문입니다. 용량 후보를 고를 때는 요청별 조건을 동시에 통과했는지, 오류까지 포함한 충족률이 목표 이상인지 를 함께 확인해야 합니다. 먼저 확인할 것은 “좋은 요청”의 분모입니다. 완료된 응답만 보고 있다면 실패·타임아웃을 포함한 전체 시도로 다시 나눠보세요. 그다음 통과율을 지킨 후보끼리 처리량을 비교하는 것이 안전한 순서입니다. 기준일: 2026년 10월 23일 KST. 공식 문서와 논문을 읽고 구성한 분석이며, 아래 요청 수·지연 기준·도식은 모두 가상입니다. Windows의 Node.js 24.14.1로 산술과 조건 판정만 실행했습니다. 실제 LLM·GPU·AIPerf 벤치마크나 유료 API는 실행하지 않았습니다. 목차 · 용어를 먼저 나눠 봅니다 요청별 허용 기준과 SLO — 한 요청의 합격선과 서비스가 지킬 목표. Goodput과 충족률 — 초당 합격 요청 수와 전체 시도 중 합격 비율. 같은 60초의 두 후보 — 처리량이 더 높은 쪽이 목표에는 탈락하는 예. 공동 통과와 실패 분모 — 두 조건을 따로 보거나 오류를 빼면 생기는 착시. 부하별 용량 판단 — 한 번의 결과를 최대 용량으로 부르지 않는 방법. 1. 요청의 합격선과 서비스 목표는 다릅니다 요청별 허용 기준 은 한 요청을 통과로 셀 조건입니다. 이 글에서는 “오류 없이 완료하고, TTFT 1초 이하이며, 요청별 평균 TPOT 80ms 이하”를 예로 들겠습니다. TTFT는 첫 내용 토큰까지의 기다림, TPOT는 첫 토큰 이후 출력 토큰당 평균 시간입니다. 둘 중 하나만 지켜서는 통과가 아닙니다. SLO(Service Level Objective) 는 서비스가 지키려는 목표입니다. 예를 들어 “정한 관측 구간의 전체 시도 중 위 조건을 모두 만족한 비율이 95% 이상”으로 정할 수 있습니다. 앞의 1초...