글

Estimate LLM GPU VRAM in Python Before Loading a Model: Separate Weight Precision, GQA KV Cache, and Runtime Overhead

Multiplying parameter count by bytes per weight is not enough to know whether an LLM will fit on your GPU under real traffic. Before downloading checkpoints or launching a serving container, calculate three separate budgets in binary GiB: effective weight memory including quantization metadata, per-request GQA KV-cache memory across your target context length and concurrency, and runtime activation workspace. Environment and verification scope: Verified November 18, 2026 KST on Windows 11 with Python 3.13 ( 14/14 unit tests passed in execution-evidence.json ) against vLLM PagedAttention memory allocation rules and Hugging Face Transformers Grouped-Query Attention (GQA) configuration schemas. All memory figures use binary gibibytes ( 1 GiB = 2^30 bytes ) to match nvidia-smi and PyTorch device reporting. Procedure and equations covered in this guide 1. The four components of serving VRAM: why weight-only estimates fail 2. Exact equations for effective weights and GQA/MQA KV-cac...

AI 서버 랙당 30kW 공랭 분산 vs 120kW 수랭 집적 비교: 총시설전력(PUE)·상면·광배선 3년 TCO 계산법

동일한 480 kW IT 부하의 AI 클러스터라도 30 kW 공랭 16랙 분산과 120 kW 수랭(DLC) 4랙 집적은 3년 총비용(TCO)이 크게 다릅니다. 초기 CDU 설비비만 보지 말고 PUE에 따른 총시설전력(Gross kW) 차이와 랙 간 광배선비·상면료를 함께 비교해야 합니다. 적용 범위 및 기준일: 2026년 11월 18일(KST) 기준 미국 에너지부(DOE)·로렌스버클리국립연구소(LBNL) 데이터센터 에너지 효율 가이드와 ASHRAE 수랭식 열관리 분류 기준을 바탕으로 정리했습니다. 4절의 480 kW 클러스터 비교 수치는 오프라인 어설션(15개 통과)으로 검증한 조건부 시뮬레이션 예시이며, 실제 콜로케이션 계약 단가와 설비 견적에 따라 결과는 달라집니다. 핵심 용어 정의 및 비교 순서 1. 왜 랙 전력 밀도(30 kW vs 120 kW)가 데이터센터 상면과 네트워크 구조를 바꿀까 2. IT 전력(480 kW)은 같아도 총시설전력(Gross kW)이 120 kW 차이 나는 이유 3. CDU 설비비 vs 랙 간 광트랜시버(Optical) 배선비의 상충 관계 4. 정량 계산 예시: 480 kW AI 클러스터의 3년 TCO 비교표 5. 콜로케이션 및 자체 전산실 도입 전 실무 점검표 1. 왜 랙 전력 밀도(30 kW vs 120 kW)가 상면과 네트워크 구조를 바꿀까 서버 한 대의 소비전력이 10~15 kW를 넘어서면서, 기존 공랭식 데이터센터(랙당 공급 상한 15~30 kW)에 고성능 AI 서버를 수용하려면 한 랙에 서버를 2~3대만 넣고 빈 슬롯을 비워두는 희소 배치(Stranded Space) 를 선택해야 합니다. 반면 칩 직접 수랭(Direct-to-Chip Liquid Cooling, DLC)과 냉각수 분배 장치(CDU)를 갖춘 고밀도 랙은 한 랙에서 100~140 kW 이상의 IT 열부하를 처리할 수 있어 필요한 랙 수를 4분의 1로 줄입니다. 표 1. 480 kW AI 클러스터 배치 방식별 물리·설비 경계 비...

LLM API context_length_exceeded 400 오류 해결: 프롬프트를 자르기 전 출력 예약·도구 스키마 토큰부터 확인하는 법

프롬프트 본문이 모델 최대 컨텍스트보다 짧은데도 HTTP 400(context_length_exceeded) 오류가 난다면 본문부터 자르지 마세요. 입력 토큰에 시스템 지시문·도구 JSON 스키마·출력 예약(max_output_tokens)을 더한 합계가 한도를 넘었는지 먼저 분리해 확인해야 합니다. 적용 환경 및 검증 범위: 2026년 11월 17일(KST) 기준 OpenAI·Anthropic·vLLM 호환 API의 컨텍스트 한도 검증 규칙을 바탕으로 정리했습니다. 3절의 진단 코드는 Windows 11 / Python 3.13에서 유료 API 호출 없이 로컬 단위 테스트( 12/12 passed )로 검증했습니다. 빠른 진단 및 해결 순서 1. 정확한 증상: 왜 입력 토큰이 한도보다 적은데도 HTTP 400이 발생할까 2. 문맥을 자르기 전에 분리해야 할 3가지 숨은 토큰 항목 3. 핵심 문맥을 보존하는 Python 토큰 예산 점검 코드 4. 안전한 해결 순서와 성공 확인 1. 정확한 증상: 왜 입력 토큰이 한도보다 적은데도 HTTP 400이 발생할까 128,000 토큰 모델을 호출할 때 프롬프트 길이가 약 105,000 토큰인데도 아래와 같은 HTTP 400 오류가 반환되는 경우가 많습니다. invalid_request_error (context_length_exceeded): maximum context length is 128000 tokens. However, you requested 140768 tokens (108000 in the messages, 32768 in the completion). 로컬에서 센 토큰 수보다 서버 오류의 in the messages 값이 수천 토큰 더 크게 찍히는 증상 이때 문서나 질문 끝부분을 단순 문자열 슬라이싱( prompt[:80000] )으로 잘라버리면 질문 조건이나 JSON 구조가 깨져 오답이 발생합니다. 2. 문맥을 자르기 전에 분리해야 할 3가지 숨은 토큰 항목 ...

AI Model Loads but Inference Fails? Check ONNX Opset and Operator Support Before Reinstalling

When an AI model file opens cleanly or passes a basic syntax check but fails at session creation or first inference with NotImplemented, UnsupportedOperatorError, or silent CPU fallback, do not reinstall CUDA or rebuild your virtual environment first. Instead, inspect the model graph opset version, custom domain registrations, and per-node dtype constraints against your target runtime execution provider support matrix. Applicable environment and verification scope: Checked November 16, 2026 KST against ONNX Runtime ( onnxruntime / onnx ) and PyTorch torch.onnx operator export documentation. The offline compatibility audit rules in Section 3 were verified on Windows 11 with Python 3.13 ( 12/12 unit tests passed ). Quick diagnostic order 1. Exact symptoms: why a valid model file still fails at runtime 2. Four root causes: opset ceiling, custom domain, kernel dtype, and CPU fallback 3. Safe pre-deployment check: audit operators before changing packages 4. Ordered fix and succe...

클라우드 API vs 로컬 GPU 서버, AI 추론 비용은 언제 역전될까? 손익분기점과 3가지 인프라 변수

클라우드 API와 로컬 GPU 서버의 AI 추론 비용 역전은 '월간 유효 요청량'과 '가동률·전력 PUE'에서 갈립니다. 월 50만 건(약 9억 토큰) 이상 지속 워크로드에서는 3년 감가상각과 전력비를 포함해도 로컬 48GB 듀얼 GPU가 단가를 약 45% 낮춥니다. 반면 월 10만 건 미만이거나 가동률이 30% 미만이면 클라우드 종량제 API가 TCO에서 훨씬 유리합니다. 검증 기준일 및 분석 범위: 2026년 11월 16일 KST 기준 70B급 오픈소스 LLM(FP8)을 호스팅하는 클라우드 종량제 API와 48GB 듀얼 GPU(총 96GB VRAM) 온프레미스 서버의 36개월 TCO를 비교했습니다. 한전 고압 전력 단가와 데이터센터 PUE 오버헤드를 반영한 15개 오프라인 산술 검증을 완료했습니다. 핵심 목차 1. TCO 구조 비교: 클라우드 종량 과금 vs 로컬 고정비 2. 손익분기점 계산: 프롬프트 캐싱 유무의 영향 3. 워크로드 구간별 비용 비교표 (월 5만~100만 건) 4. 로컬 도입을 위협하는 3가지 인프라 변수 5. 단일 서버 처리량 한계: 손익분기점과 86.4만 건 용량 상한 6. 인프라 전환 의사결정 체크리스트 1. TCO 구조 비교: 클라우드 종량 과금 vs 로컬 고정비 AI 인프라를 평가할 때 장비 구매가만 보면 오판하기 쉽습니다. 로컬 서버는 3년 감가상각, 전력·냉방비(PUE), 상면·네트워크 유지비를 합산한 월 고정 TCO로 환산해야 공정한 비교가 가능합니다. 표 1. 70B 모델 추론 기준 TCO 구성 요소 비교 비용 항목 클라우드 API (종량제) 로컬 GPU 서버 (48GB×2) 초기 도입비 (CAPEX) 0원 약 2,500만 원 (서버 섀시, CPU, 256GB RAM, GPU 2장) 월 감가상각 (36개월) 없음 694,444원 / 월 전력·냉방비 (PUE 1.3) 요금에 포함 약 87,516원 / 월 (월 514.8kWh...

메모리 반도체 3사 실적 공시 비교법: 결산월·부문 영업이익 경계·미공시 HBM 추정치 분리 기준

삼성전자·SK하이닉스·마이크론의 메모리 실적을 한 표에서 비교할 때는 헤드라인 영업이익률을 그대로 나란히 놓으면 안 됩니다. 결산월(달력 분기 vs 8월 결산)과 부문 손익 경계(DS 합산 vs 순수 메모리)를 먼저 맞추고, 미공시 HBM 추정치는 감사 공시 열과 분리해야 왜곡을 막을 수 있습니다. 적용 범위 및 기준일: 2026년 11월 16일(KST) 기준 금융감독원 전자공시시스템(DART) 정기보고서 작성기준(K-IFRS 제1108호 영업부문) 및 미국 증권거래위원회(SEC) Form 10-Q/10-K 세그먼트 공시 기준(ASC 280)을 바탕으로 정리했습니다. 4절의 수치 예시는 회계 경계 차이에 따른 영업이익률 왜곡 폭을 보여주기 위해 오프라인 어설션(15개 통과)으로 검증한 가상 계산 예시이며, 특정 종목에 대한 실적 전망이나 투자 권유가 아닙니다. 핵심 용어 정의 및 읽는 순서 1. 영업부문(Segment) 경계: DS 합산 영업이익과 순수 메모리 영업이익의 차이 2. 결산월과 통화 기준일: 달력 분기(KRW)와 1개월 어긋난 회계연도(USD) 3. 미공시 HBM 매출·이익 추정치를 감사 공시 수치와 분리해야 하는 이유 4. 정량 계산 예시: 부문 경계와 재고자산평가환입이 만드는 20%p 착시 5. 분기 실적 비교표 작성 전 실무 점검표 1. 영업부문(Segment) 경계: 왜 헤드라인 영업이익률을 바로 비교하면 안 될까 반도체 분기 실적 발표 직후 가장 흔한 오류는 서로 다른 사업 범위의 영업이익률을 단일 '메모리 수익성' 지표로 묶어 비교하는 것입니다. 금융감독원 DART 정기보고서 와 미국 SEC EDGAR Form 10-Q/10-K 는 내부 경영 의사결정에 쓰는 영업부문(Operating Segment) 단위로 손익을 공시하므로 회사마다 분모와 분자의 경계가 다릅니다. 표 1. 메모리 3사 정기공시 기준 비교 시 반드시 확인해야 할 4대 회계·공시 경계 점검 항목 한국 정기보고서 (DART...