글

AI 서버 부하 테스트는 정상인데 실제 운영에서 Timeout이 터질 때: Closed-Loop 동시성과 Open-Loop 도착률(RPS)부터 확인하는 법

사전 부하 테스트에서는 지연이 정상이었는데 운영에서 시간 초과(Timeout)가 연쇄 발생한다면, 부하 도구가 응답 완료 후 다음 요청을 보내는 Closed-Loop(고정 동시성) 모드로만 실행되었는지 확인하세요. 운영 요청은 Open-Loop(도착률) 방식이므로 대기열 시간과 실행 시간을 분리해 점검해야 합니다. 적용 환경 및 검증 범위: 2026년 11월 19일(KST) 기준 vLLM·Triton 등 AI 추론 서버의 대기열(Queue) 계측 문서 및 부하 생성기(Locust·k6 등)의 도착률 모델 기준을 바탕으로 정리했습니다. 3절의 시뮬레이션 코드는 외부 서버에 트래픽을 보내지 않고 Windows 11 / Python 3.13 로컬 단위 테스트( 12/12 passed )로 검증했습니다. 빠른 진단 및 해결 순서 1. 정확한 증상: 왜 부하 테스트에서는 대기열 폭발이 숨겨질까 2. Closed-Loop(고정 동시성) vs Open-Loop(고정 도착률)의 결정적 차이 3. 대기 시간(Queue Wait)과 타임아웃 전이를 분리하는 Python 진단 코드 4. 안전한 해결 순서와 성공 확인 1. 정확한 증상: 왜 부하 테스트에서는 대기열 폭발이 숨겨질까 AI 추론 API를 배포하기 전에 동시 워커(Concurrency) N개를 띄워 요청을 반복 전송하는 테스트를 돌리면, 긴 프롬프트 하나가 들어와 GPU Prefill이 잠깐 느려져도 타임아웃이 거의 발생하지 않습니다. 워커 자체가 응답을 받을 때까지 다음 요청 전송을 멈추어 유입 속도(Arrival Rate)를 스스로 줄여주기 때문 입니다. 반면 실제 운영 환경에서는 앞선 요청이 지연되더라도 외부 사용자 요청이 초당 일정 비율(RPS)로 계속 도착합니다. 그 결과 서버 내부 대기열 시간( queue_wait_ms )이 뒤따르는 요청들에 누적되면서 연쇄 타임아웃이 발생합니다. 2. Closed-Loop vs Open-Loop 부하 모델 비교 표 1. 부하 생성 방식에 따른...

Estimate LLM GPU VRAM in Python Before Loading a Model: Separate Weight Precision, GQA KV Cache, and Runtime Overhead

Multiplying parameter count by bytes per weight is not enough to know whether an LLM will fit on your GPU under real traffic. Before downloading checkpoints or launching a serving container, calculate three separate budgets in binary GiB: effective weight memory including quantization metadata, per-request GQA KV-cache memory across your target context length and concurrency, and runtime activation workspace. Environment and verification scope: Verified November 18, 2026 KST on Windows 11 with Python 3.13 ( 14/14 unit tests passed in execution-evidence.json ) against vLLM PagedAttention memory allocation rules and Hugging Face Transformers Grouped-Query Attention (GQA) configuration schemas. All memory figures use binary gibibytes ( 1 GiB = 2^30 bytes ) to match nvidia-smi and PyTorch device reporting. Procedure and equations covered in this guide 1. The four components of serving VRAM: why weight-only estimates fail 2. Exact equations for effective weights and GQA/MQA KV-cac...

AI 서버 랙당 30kW 공랭 분산 vs 120kW 수랭 집적 비교: 총시설전력(PUE)·상면·광배선 3년 TCO 계산법

동일한 480 kW IT 부하의 AI 클러스터라도 30 kW 공랭 16랙 분산과 120 kW 수랭(DLC) 4랙 집적은 3년 총비용(TCO)이 크게 다릅니다. 초기 CDU 설비비만 보지 말고 PUE에 따른 총시설전력(Gross kW) 차이와 랙 간 광배선비·상면료를 함께 비교해야 합니다. 적용 범위 및 기준일: 2026년 11월 18일(KST) 기준 미국 에너지부(DOE)·로렌스버클리국립연구소(LBNL) 데이터센터 에너지 효율 가이드와 ASHRAE 수랭식 열관리 분류 기준을 바탕으로 정리했습니다. 4절의 480 kW 클러스터 비교 수치는 오프라인 어설션(15개 통과)으로 검증한 조건부 시뮬레이션 예시이며, 실제 콜로케이션 계약 단가와 설비 견적에 따라 결과는 달라집니다. 핵심 용어 정의 및 비교 순서 1. 왜 랙 전력 밀도(30 kW vs 120 kW)가 데이터센터 상면과 네트워크 구조를 바꿀까 2. IT 전력(480 kW)은 같아도 총시설전력(Gross kW)이 120 kW 차이 나는 이유 3. CDU 설비비 vs 랙 간 광트랜시버(Optical) 배선비의 상충 관계 4. 정량 계산 예시: 480 kW AI 클러스터의 3년 TCO 비교표 5. 콜로케이션 및 자체 전산실 도입 전 실무 점검표 1. 왜 랙 전력 밀도(30 kW vs 120 kW)가 상면과 네트워크 구조를 바꿀까 서버 한 대의 소비전력이 10~15 kW를 넘어서면서, 기존 공랭식 데이터센터(랙당 공급 상한 15~30 kW)에 고성능 AI 서버를 수용하려면 한 랙에 서버를 2~3대만 넣고 빈 슬롯을 비워두는 희소 배치(Stranded Space) 를 선택해야 합니다. 반면 칩 직접 수랭(Direct-to-Chip Liquid Cooling, DLC)과 냉각수 분배 장치(CDU)를 갖춘 고밀도 랙은 한 랙에서 100~140 kW 이상의 IT 열부하를 처리할 수 있어 필요한 랙 수를 4분의 1로 줄입니다. 표 1. 480 kW AI 클러스터 배치 방식별 물리·설비 경계 비...

LLM API context_length_exceeded 400 오류 해결: 프롬프트를 자르기 전 출력 예약·도구 스키마 토큰부터 확인하는 법

프롬프트 본문이 모델 최대 컨텍스트보다 짧은데도 HTTP 400(context_length_exceeded) 오류가 난다면 본문부터 자르지 마세요. 입력 토큰에 시스템 지시문·도구 JSON 스키마·출력 예약(max_output_tokens)을 더한 합계가 한도를 넘었는지 먼저 분리해 확인해야 합니다. 적용 환경 및 검증 범위: 2026년 11월 17일(KST) 기준 OpenAI·Anthropic·vLLM 호환 API의 컨텍스트 한도 검증 규칙을 바탕으로 정리했습니다. 3절의 진단 코드는 Windows 11 / Python 3.13에서 유료 API 호출 없이 로컬 단위 테스트( 12/12 passed )로 검증했습니다. 빠른 진단 및 해결 순서 1. 정확한 증상: 왜 입력 토큰이 한도보다 적은데도 HTTP 400이 발생할까 2. 문맥을 자르기 전에 분리해야 할 3가지 숨은 토큰 항목 3. 핵심 문맥을 보존하는 Python 토큰 예산 점검 코드 4. 안전한 해결 순서와 성공 확인 1. 정확한 증상: 왜 입력 토큰이 한도보다 적은데도 HTTP 400이 발생할까 128,000 토큰 모델을 호출할 때 프롬프트 길이가 약 105,000 토큰인데도 아래와 같은 HTTP 400 오류가 반환되는 경우가 많습니다. invalid_request_error (context_length_exceeded): maximum context length is 128000 tokens. However, you requested 140768 tokens (108000 in the messages, 32768 in the completion). 로컬에서 센 토큰 수보다 서버 오류의 in the messages 값이 수천 토큰 더 크게 찍히는 증상 이때 문서나 질문 끝부분을 단순 문자열 슬라이싱( prompt[:80000] )으로 잘라버리면 질문 조건이나 JSON 구조가 깨져 오답이 발생합니다. 2. 문맥을 자르기 전에 분리해야 할 3가지 숨은 토큰 항목 ...

AI Model Loads but Inference Fails? Check ONNX Opset and Operator Support Before Reinstalling

When an AI model file opens cleanly or passes a basic syntax check but fails at session creation or first inference with NotImplemented, UnsupportedOperatorError, or silent CPU fallback, do not reinstall CUDA or rebuild your virtual environment first. Instead, inspect the model graph opset version, custom domain registrations, and per-node dtype constraints against your target runtime execution provider support matrix. Applicable environment and verification scope: Checked November 16, 2026 KST against ONNX Runtime ( onnxruntime / onnx ) and PyTorch torch.onnx operator export documentation. The offline compatibility audit rules in Section 3 were verified on Windows 11 with Python 3.13 ( 12/12 unit tests passed ). Quick diagnostic order 1. Exact symptoms: why a valid model file still fails at runtime 2. Four root causes: opset ceiling, custom domain, kernel dtype, and CPU fallback 3. Safe pre-deployment check: audit operators before changing packages 4. Ordered fix and succe...

클라우드 API vs 로컬 GPU 서버, AI 추론 비용은 언제 역전될까? 손익분기점과 3가지 인프라 변수

클라우드 API와 로컬 GPU 서버의 AI 추론 비용 역전은 '월간 유효 요청량'과 '가동률·전력 PUE'에서 갈립니다. 월 50만 건(약 9억 토큰) 이상 지속 워크로드에서는 3년 감가상각과 전력비를 포함해도 로컬 48GB 듀얼 GPU가 단가를 약 45% 낮춥니다. 반면 월 10만 건 미만이거나 가동률이 30% 미만이면 클라우드 종량제 API가 TCO에서 훨씬 유리합니다. 검증 기준일 및 분석 범위: 2026년 11월 16일 KST 기준 70B급 오픈소스 LLM(FP8)을 호스팅하는 클라우드 종량제 API와 48GB 듀얼 GPU(총 96GB VRAM) 온프레미스 서버의 36개월 TCO를 비교했습니다. 한전 고압 전력 단가와 데이터센터 PUE 오버헤드를 반영한 15개 오프라인 산술 검증을 완료했습니다. 핵심 목차 1. TCO 구조 비교: 클라우드 종량 과금 vs 로컬 고정비 2. 손익분기점 계산: 프롬프트 캐싱 유무의 영향 3. 워크로드 구간별 비용 비교표 (월 5만~100만 건) 4. 로컬 도입을 위협하는 3가지 인프라 변수 5. 단일 서버 처리량 한계: 손익분기점과 86.4만 건 용량 상한 6. 인프라 전환 의사결정 체크리스트 1. TCO 구조 비교: 클라우드 종량 과금 vs 로컬 고정비 AI 인프라를 평가할 때 장비 구매가만 보면 오판하기 쉽습니다. 로컬 서버는 3년 감가상각, 전력·냉방비(PUE), 상면·네트워크 유지비를 합산한 월 고정 TCO로 환산해야 공정한 비교가 가능합니다. 표 1. 70B 모델 추론 기준 TCO 구성 요소 비교 비용 항목 클라우드 API (종량제) 로컬 GPU 서버 (48GB×2) 초기 도입비 (CAPEX) 0원 약 2,500만 원 (서버 섀시, CPU, 256GB RAM, GPU 2장) 월 감가상각 (36개월) 없음 694,444원 / 월 전력·냉방비 (PUE 1.3) 요금에 포함 약 87,516원 / 월 (월 514.8kWh...