1M 컨텍스트의 실비용 — GLM 5.3과 Flash의 KV 캐시를 직접 계산해본 사람이 나타났다

마케팅 자료에 적힌 ‘1M 컨텍스트 지원!’을 볼 때마다 속으로 헛웃음부터 나온다.

솔직히 컨텍스트 창 숫자는 입만 털면 공짜지만, KV 캐시는 물리적 메모리(VRAM)를 진짜로 잡아먹는 깡패다. 긴 문서 조금만 밀어 넣어도 VRAM 부족으로 OOM(Out of Memory) 터지면서 프로세스가 뻗어버리는 게 일상 아닌가(내 맥미니와 외장 GPU는 이미 여러 번 비명을 질렀다).

그런데 최근 r/ZaiGLM에 이 문제를 두고 감으로 때려 맞추는 대신, 아예 수학적으로 끝장을 내버린 변태 같은 글이 올라왔다. 벤더 홍보용 블로그나 모델 카드 문구를 긁어온 게 아니라, safetensors 모델 파일의 바이너리 헤더를 직접 까서 레이어 아키텍처 수치를 손수 계산했다는 게 진짜 백미다.

계산 방식이 흥미로운 이유

보통 이런 분석글은 벤더 공식 테크니컬 리포트에 나온 표를 복붙하고 “우와 대단하네요” 하고 끝난다. 하지만 이 사람은 시작부터 달랐다. safetensors 파일 헤더를 바이너리 수준에서 열어서 레이어 구성을 한 땀 한 땀 뜯어봤다. 어떤 어텐션 메커니즘이 몇 번 레이어에 박혀 있는지 직접 카운팅한 거다.

그리고 나온 결과가 꽤나 충격적이다.

• GLM 5.3: 78개 레이어 전체가 딥 시크 어텐션(DSA, DeepSeek Attention) 구조다.
• GLM 5.3 Flash: 하이브리드 구성이다. 선형 어텐션 계열인 KDA 레이어 34개와 DSA 레이어 11개를 변칙적으로 섞었다.

이 아키텍처 차이가 KV 캐시 메모리에서 그야말로 대폭발을 일으킨다.

토큰당 캐시 크기로 따져보니 47.6KB vs 6.0KB. 만약 1M 컨텍스트를 풀로 꽉 채워서 캐시한다고 치면 메모리 요구량이 49.9GB vs 6.3GB로 벌어진다. 무려 8배 차이다. Flash 모델은 선형 어텐션 비중을 확 올려서 토큰이 늘어나도 KV 캐시가 거의 폭증하지 않도록 설계된 거다.

재미있는 건, 이 실측 계산이 Z.ai 공식 발표 수치(약 4.4배 차이)와도 다르고, 단순 선형 레이어 비율 계산과도 안 맞는다는 점이다. 공식 문서 어딘가에서 캐시 정의를 다르게 썼거나 약을 팔았다는 뜻이다(물론 추가 실측 검증이 필요한 대목이다).

왜 이런 구조 차이가 실무에 닿는가

“아니, KV 캐시 몇 기가 차이가 나랑 무슨 상관인데?”라고 할 수도 있다. 하지만 이건 실무에서 생사를 가르는 문제다.

클라우드 서빙하는 쪽에선 곧바로 돈(인프라 비용)이고, 방구석에서 모델 굴리는 로컬 유저에겐 “이 모델이 내 그래픽카드에서 돌아가냐, 뻗냐”의 갈림길이기 때문이다.

50GB짜리 캐시를 버티려면 H100이나 고가 엔터프라이즈 GPU를 여러 장 묶어서 VRAM을 도배해야 한다. 반면 캐시가 6GB 수준으로 억제된다면? 24GB짜리 일반 소비자용 데스크톱 GPU 한 장으로도 1M 컨텍스트 실험을 비벼볼 수 있다는 얘기가 된다.

요즘처럼 프로젝트 코드베이스 전체를 물고 몇 시간씩 핑퐁 치는 코딩 에이전트 시대에는, 프리필(prefill) 한 번 끝내고 캐시를 재활용하는 게 기본이다. 여기서 캐시 메모리 8배 차이는 작업 효율과 전기세를 통째로 갈라놓는다.

r/LocalLLM 쪽 분위기도 비슷하다. Qwen3.8-27B를 극한의 저양자화로 깎아서 RTX 5060 Ti 듀얼(16GBx2)에 올리고 81k 에이전트 작업을 돌리는 사람이 있는가 하면, Mac Studio 대역폭과 DGX Spark의 프리필 성능을 실측으로 들이받는 토론이 매일 터진다. 스펙 시트의 뜬구름 잡는 숫자 대신 “그래서 내 컴퓨터에서 얼마를 쳐먹는데?”를 집요하게 파고드는 엔지니어들이 늘어난 거다.

검증 가능성이 곧 신뢰

요즘 메이저 프론티어 모델 구독 서비스를 둘러싸고 불신이 극에 달해 있다. 주간 한도를 제멋대로 깎았다 늘렸다 하고, 어제 잘 되던 프롬프트가 오늘 갑자기 멍청해지질 않나, 심지어 흑자 전환했다는 뉴스조차 ‘조정 영업이익’ 기준이라는 회계 말장난 논란이 붙었다.

기업들이 내놓는 홍보 문구를 액면 그대로 믿을 수 없게 된 세상이다. 그래서 safetensors 헤더를 직접 까보는 이런 집착이 더 값지게 느껴진다.

모델 카드에 적힌 화려한 마케팅 문구 대신, 다운로드받은 가중치 파일의 물리적 실체를 뜯어보는 건 누구나 재현 가능한 검증이다. 이번 분석자도 자기 계산과 벤더 공식 수치가 다른 점을 솔직하게 까발리며 집단지성의 교차 검증을 요구했다. 완벽한 정답이 아니더라도, 검증 가능한 팩트를 테이블 위에 올려놓는 것. 이게 진짜 엔지니어링의 신뢰다.

정리

이제 “우리 모델 1M 컨텍스트 지원해요!”라는 자랑은 아무 의미가 없다. 진짜 핵심은 그 1M를 감당할 캐시 아키텍처가 준비되어 있는가다.

GLM 5.3과 Flash의 8배 캐시 격차는, 똑같이 “1M” 간판을 달고 있어도 속은 완전히 딴판일 수 있다는 걸 적나라하게 증명했다. 앞으로 긴 컨텍스트 모델을 고를 때는 파라미터 수만 볼 게 아니라 어텐션 구조부터 뜯어봐야 하는 시대가 왔다. 공식 스펙을 맹신하지 않고 헤더 파일부터 까보는 긱(Geek)들의 문화, 개인적으로 아주 마음에 든다.