글

라벨이 부하테스트인 게시물 표시

AI 서버 부하 테스트는 정상인데 실제 운영에서 Timeout이 터질 때: Closed-Loop 동시성과 Open-Loop 도착률(RPS)부터 확인하는 법

사전 부하 테스트에서는 지연이 정상이었는데 운영에서 시간 초과(Timeout)가 연쇄 발생한다면, 부하 도구가 응답 완료 후 다음 요청을 보내는 Closed-Loop(고정 동시성) 모드로만 실행되었는지 확인하세요. 운영 요청은 Open-Loop(도착률) 방식이므로 대기열 시간과 실행 시간을 분리해 점검해야 합니다. 적용 환경 및 검증 범위: 2026년 11월 19일(KST) 기준 vLLM·Triton 등 AI 추론 서버의 대기열(Queue) 계측 문서 및 부하 생성기(Locust·k6 등)의 도착률 모델 기준을 바탕으로 정리했습니다. 3절의 시뮬레이션 코드는 외부 서버에 트래픽을 보내지 않고 Windows 11 / Python 3.13 로컬 단위 테스트( 12/12 passed )로 검증했습니다. 빠른 진단 및 해결 순서 1. 정확한 증상: 왜 부하 테스트에서는 대기열 폭발이 숨겨질까 2. Closed-Loop(고정 동시성) vs Open-Loop(고정 도착률)의 결정적 차이 3. 대기 시간(Queue Wait)과 타임아웃 전이를 분리하는 Python 진단 코드 4. 안전한 해결 순서와 성공 확인 1. 정확한 증상: 왜 부하 테스트에서는 대기열 폭발이 숨겨질까 AI 추론 API를 배포하기 전에 동시 워커(Concurrency) N개를 띄워 요청을 반복 전송하는 테스트를 돌리면, 긴 프롬프트 하나가 들어와 GPU Prefill이 잠깐 느려져도 타임아웃이 거의 발생하지 않습니다. 워커 자체가 응답을 받을 때까지 다음 요청 전송을 멈추어 유입 속도(Arrival Rate)를 스스로 줄여주기 때문 입니다. 반면 실제 운영 환경에서는 앞선 요청이 지연되더라도 외부 사용자 요청이 초당 일정 비율(RPS)로 계속 도착합니다. 그 결과 서버 내부 대기열 시간( queue_wait_ms )이 뒤따르는 요청들에 누적되면서 연쇄 타임아웃이 발생합니다. 2. Closed-Loop vs Open-Loop 부하 모델 비교 표 1. 부하 생성 방식에 따른...