AI 요청 지연·품질·비용 평가표 만들기: 시간 초과·오류·유효 응답 단가까지 Python으로 비교하기
AI API나 로컬 추론을 비교할 때 정상 응답의 평균 지연과 호출 단가만 보면 시간 초과·오류·품질 탈락 비용이 빠져 판단이 왜곡됩니다. 전체 요청을 분모로 고정하고 지연 SLO(TTFT·E2EL)와 채점 기준을 모두 통과한 유효 응답 수로 총청구액을 나눠야 실제 유효 응답 1건당 단가를 비교할 수 있습니다. 비교 전 첫 확인: 실패한 요청을 표에서 지우지 마세요 시간 초과( timeout )나 스트림 중단이 발생한 요청을 로그에서 제거하고 평균 속도를 내면 불안정한 경로가 오히려 빨라 보입니다. 또한 공급자가 숨김 추론 토큰(hidden reasoning tokens) 수를 응답 필드로 제공하지 않을 때는 지연 시간으로 토큰 수를 역산하거나 추정하지 말고 공식 청구 금액과 합격 여부만 기록해야 합니다. 검증 범위와 기준일: 2026년 11월 13일 KST 기준. Windows·Python 3.14.3 표준 라이브러리 환경에서 단위·경계 검사 14건과 명령행 실행을 직접 검증했습니다. 본문의 requests.csv 는 계산 절차를 재현하기 위한 가상 요청 로그이며 특정 상용 모델의 실측 벤치마크가 아닙니다. 목차 · 평가표 작성 전에 고정할 핵심 용어 1. 전체 발송 요청(Dispatched Requests): 시간 초과와 오류를 포함한 고정 분모 2. 지연 SLO와 품질 통과(Qualified Pass): TTFT·E2EL과 채점 기준의 동시 충족 3. 유효 응답 단가와 미공개 추론 토큰: 추정 없이 청구 데이터만 다루는 원칙 4. 재현용 8열 CSV 스키마와 가상 비교 시나리오 준비 5. Python 표준 라이브러리 평가기(scorecard.py) 실행과 결과 해석 6. 운영 적용 체크리스트와 실패 조건 점검 1. 왜 성공 응답만 모아서 평균을 내면 의사결정이 흔들릴까? 추론 API 두 곳이나 클라우드 API와 로컬 GPU 서버를 비교할 때 흔히 저지르는 실수는 정상 응답( HTTP 200 및 스트림 정상 종료)만 추...