클라우드 API vs 로컬 GPU 서버, AI 추론 비용은 언제 역전될까? 손익분기점과 3가지 인프라 변수
클라우드 API와 로컬 GPU 서버의 AI 추론 비용 역전은 '월간 유효 요청량'과 '가동률·전력 PUE'에서 갈립니다. 월 50만 건(약 9억 토큰) 이상 지속 워크로드에서는 3년 감가상각과 전력비를 포함해도 로컬 48GB 듀얼 GPU가 단가를 약 45% 낮춥니다. 반면 월 10만 건 미만이거나 가동률이 30% 미만이면 클라우드 종량제 API가 TCO에서 훨씬 유리합니다.
검증 기준일 및 분석 범위: 2026년 11월 16일 KST 기준 70B급 오픈소스 LLM(FP8)을 호스팅하는 클라우드 종량제 API와 48GB 듀얼 GPU(총 96GB VRAM) 온프레미스 서버의 36개월 TCO를 비교했습니다. 한전 고압 전력 단가와 데이터센터 PUE 오버헤드를 반영한 15개 오프라인 산술 검증을 완료했습니다.
핵심 목차
1. TCO 구조 비교: 클라우드 종량 과금 vs 로컬 고정비
AI 인프라를 평가할 때 장비 구매가만 보면 오판하기 쉽습니다. 로컬 서버는 3년 감가상각, 전력·냉방비(PUE), 상면·네트워크 유지비를 합산한 월 고정 TCO로 환산해야 공정한 비교가 가능합니다.
| 비용 항목 | 클라우드 API (종량제) | 로컬 GPU 서버 (48GB×2) |
|---|---|---|
| 초기 도입비 (CAPEX) | 0원 | 약 2,500만 원 (서버 섀시, CPU, 256GB RAM, GPU 2장) |
| 월 감가상각 (36개월) | 없음 | 694,444원 / 월 |
| 전력·냉방비 (PUE 1.3) | 요금에 포함 | 약 87,516원 / 월 (월 514.8kWh, 한전 170원/kWh) |
| 상면·회선·유지보수 | 0원 | 약 150,000원 / 월 |
| 월 총 고정 TCO | 0원 (요청 없으면 0원) | 931,960원 / 월 (고정 지출) |
로컬 서버는 요청이 0건이어도 매달 93만 2천 원이 나갑니다. 따라서 클라우드 API 사용료가 93만 2천 원을 넘어서는 지점이 바로 손익분기점입니다.
2. 손익분기점 계산: 프롬프트 캐싱 유무의 영향
표준 RAG 질의 1회(입력 1,500토큰, 출력 300토큰)를 70B 모델 API(입력 $0.70/1M, 출력 $0.90/1M, 환율 1,400원)로 처리할 때의 비용입니다:
케이스 A: 캐싱 미적용 (매 요청 재연산)
요청당 비용: 입력 1.47원 + 출력 0.38원 = 1.85원
손익분기 월 요청량 = 931,960원 ÷ 1.848원 = 약 504,307건 (약 50.4만 건 / 월)
케이스 B: 프롬프트 캐싱 60% 적중 (캐시 입력 75% 할인)
요청당 비용: 유효 입력 0.81원 + 출력 0.38원 = 1.19원
손익분기 월 요청량 = 931,960원 ÷ 1.1865원 = 약 785,470건 (약 78.5만 건 / 월)
프롬프트 캐싱이 작동하면 손익분기점이 월 50만 건에서 78.5만 건으로 56% 상승합니다. 캐시 재사용률이 높을수록 로컬 서버가 비용 우위를 점하기 위한 트래픽 문턱이 높아집니다.
3. 워크로드 구간별 비용 비교표 (월 5만~100만 건)
| 월 요청량 | 클라우드 (캐시 없음) | 클라우드 (캐시 60%) | 로컬 서버 TCO | 비용 우위 |
|---|---|---|---|---|
| 월 5만 건 | 92,400원 | 59,325원 | 931,960원 | 클라우드 10~16배 유리 |
| 월 20만 건 | 369,600원 | 237,300원 | 931,960원 | 클라우드 우위 지속 |
| 월 50만 건 | 924,000원 | 593,250원 | 931,960원 | 비캐시 손익분기 근접 |
| 월 78.5만 건 | 1,450,680원 | 931,403원 | 931,960원 | 캐시 환경 분기점 도달 |
| 월 100만 건 | 1,848,000원 | 1,186,500원 | 931,960원 | 로컬 21~50% 비용 절감 |
초기 단계(월 5만 건 이하)에서 서버를 도입하면 매달 80만 원 이상의 낭비가 생깁니다. 반면 월 100만 건 이상 지속되는 대량 동적 워크로드에서는 로컬 서버가 매달 약 25만~91만 원을 절감합니다.
4. 로컬 도입을 위협하는 3가지 인프라 변수
- 1) 유휴 시간과 가동률(Duty Cycle) 불균형: 사내 업무용 AI는 평일 09~18시(주 45시간, 가동률 27%)에만 몰립니다. 야간·주말에 서버가 놀아도 250W 대기 전력과 감가상각은 100% 나갑니다. 실질 가동률 30% 환경에서는 분기 도달 요청 밀도가 3배로 커집니다.
- 2) KV Cache 메모리 압박과 배치 한계: 48GB 듀얼 GPU(총 96GB)에서 70B FP8 가중치(약 70GB) 적재 후 남는 여유 VRAM은 26GB뿐입니다. 긴 컨텍스트 요청이 몰리면 VRAM이 부족해져 동시 배치 크기가 2~4개로 줄어들고 지연이 급증합니다.
- 3) 이중화(N+1) 부재와 SPOF: 클라우드 API는 99.9% SLA를 보장하지만 1대 서버는 전원이나 하드웨어 장애 시 전면 중단됩니다. 예비 서버를 구축하면 월 고정 TCO는 186만 원으로 2배가 되어 손익분기점이 월 100만~150만 건으로 밀려납니다.
5. 단일 서버 처리량 한계: 손익분기점과 86.4만 건 용량 상한
단일 48GB 듀얼 GPU에서 vLLM 구동 시 지속 디코딩 대역폭은 초당 약 100토큰입니다. 요청당 300토큰 출력 시 초당 0.333건, 일 28,800건, 월 24시간 풀가동 시 최대 864,000건(86.4만 건)이 물리적 한계입니다.
즉, 캐싱 60% 환경의 손익분기점(78.5만 건)은 단일 서버 물리 한계(86.4만 건)의 91%에 육박합니다. 큐잉 지연 폭증 없이 SLO(응답 5초 이내)를 지키며 트래픽을 받으려면 서버 증설이 불가피해, 1대만으로는 실질 절감 효과를 거두기 어렵습니다.
6. 인프라 전환 의사결정 체크리스트
- 월 요청 50만 건 이상인가? 20만 건 미만이면 클라우드가 무조건 저렴하며 엔지니어링 운영 부담도 없습니다.
- 프롬프트 캐싱이 어려운 동적 구조인가? 캐시 적중률이 60%를 넘으면 단일 서버 손익분기점이 78만 건으로 밀려 실익이 줄어듭니다.
- 야간·주말에도 균등한 트래픽인가? 평일 주간 집중형 서비스는 유휴 감가상각과 대기 전력 때문에 TCO가 악화됩니다.
- 망분리 규제나 데이터 보안이 필수인가? 규제 준수 목적이 아니라면 순수 비용 절감만을 이유로 조기 구매하는 것은 위험합니다.
Appendix: 연산 검증 및 Deoks 관련 한국어 기술 분석
본 분석의 36개월 TCO, 전력 PUE 소비량, 요청 단가 및 용량 상한은 Node.js 환경에서 15개 산술 검증(`calculations.json`)을 통과했습니다.
AI 서빙 효율, 지연 시간 SLO 평가와 관련된 Deoks의 다른 한국어 분석 글도 함께 추천합니다:
- AI 요청 지연·품질·비용 평가표 만들기: 시간 초과·오류·유효 응답 단가까지 Python으로 비교하기 — 실패·타임아웃을 감안한 실질 유효 응답 단가 산출법
- GPU 사용률 95%가 효율적인 AI 서빙을 보장하지 않는 이유 — 대기 지연(Stall)에 빠진 허위 GPU 사용률 진단
- LLM Goodput이 높아도 충분한 용량일까? SLO 충족률로 가려보기 — 지연 시간 목표(SLO)를 만족하는 실질 서빙 용량 측정
공식 1차 출처 (2026년 11월 16일 KST 확인)
- NVIDIA RTX 6000 Ada Generation Architecture Specifications: 48GB GDDR6 ECC, 300W Max TDP.
- 한국전력공사 기본공급약관 전기요금표: 일반용·산업용(을) 고압 전력량 요금 단가 기준.
- DOE / LBNL Best Practices Guide for Data Center Design: PUE 오버헤드 산정 가이드라인.
- vLLM Continuous Batching Documentation: 70B FP8 디코딩 토큰 처리량 벤치마크.
댓글
댓글 쓰기
안녕하세요 :)