글

라벨이 로컬 LLM인 게시물 표시

AI 대화가 길면 내 PC 메모리도 늘까? 브라우저와 KV Cache

이미지
짧은 답: 보통은 아니다. 클라우드 AI에서 대화가 길어질 때의 KV Cache는 모델을 실행하는 서버 쪽 상태이고, 내 브라우저 탭이 쓰는 메모리는 대화 화면·DOM·JavaScript·첨부물처럼 다른 층의 비용이다. 다만 내 PC에서 로컬 LLM을 돌린다면, 그때는 문맥 길이가 GPU 메모리나 시스템 메모리와 직접 만난다. 탭이 무거워졌다고 해서 서버에서 쓰는 모델 메모리까지 내 PC로 내려온 것은 아니다. 반대로 대화가 길어도 브라우저 탭 메모리만 보고 서비스의 추론 자원 상태를 알 수는 없다. 특정 AI 서비스의 내부 구현은 공개 문서 없이 단정할 수 없다. 여기서는 브라우저에서 보이는 현상과 모델이 실행되는 곳의 상태를 나눠 보려 한다. 이전 Tech(KR) 글: SVN 웹 접속이 안 될 때, URL·인증·권한을 나눠 확인하는 순서 핵심 요약 클라우드 AI: 대화 문맥을 계산하는 모델은 보통 서비스 제공자의 실행 환경에 있다. 그 환경의 KV Cache와 브라우저 탭의 메모리는 같은 숫자가 아니다. 브라우저: 대화 목록·렌더링된 답변·이미지·JavaScript 객체는 탭의 메모리에 영향을 줄 수 있다. Chrome도 OS 메모리와 JavaScript Memory를 구분해 관찰하도록 안내한다. 로컬 LLM: 모델을 내 PC에서 실제로 실행할 때에는 문맥 길이와 생성 상태가 GPU 메모리 또는 시스템 메모리 사용량에 직접 영향을 줄 수 있다. 안전한 판단: 한 화면의 메모리 수치만으로 원인을 결론내지 말고, 먼저 “브라우저 탭인가, 로컬 모델 프로세스인가, 서비스 서버인가”를 나눈다. 자체 제작 도식. 브라우저 탭 메모리와 모델 실행 측 KV Cache는 같은 지표가 아니다. 특정 서비스의 내부 구현을 나타내지 않는다. KV Cache는 ‘대화창 저장 공간’이 아니다 언어 모델은 다음 토큰을 만들 때 앞 문맥을 참조한다. 이때 이미 만든 내부 표현 중 key와 value를 보관해 다음 계산에서 다시 쓰는 ...