Reddit의 r/LocalLLM에 인상적인 고민이 하나 올라왔다. 1조(1T)급 MoE 모델을 집에서 직접 돌리는 사람이 하드웨어를 어떻게 바꿀지 묻는 글이다. 사양부터 읽어보면 자연스럽게 멈추게 된다. Threadripper PRO 5995WX에 RTX PRO 6000 여섯 장, RTX 5090 여덟 장, RTX 3090 네 장. GPU가 열여덟 장이다. 그런데 이 사람이 고민하는 대상은 GPU가 아니라 메모리다. DDR4 512GB를 유지할까, 아예 DDR5 플랫폼으로 갈아탈까. 대략 유로화 4천이 오가는 결정이고, 체감 속도는 그보다 훨씬 크게 달라진다.
MoE(Mixture of Experts) 모델은 전체 파라미터를 매번 다 쓰지 않는다. 토큰이 들어올 때마다 라우터가 소수의 익스퍼트(전문가 블록)만 골라 계산에 투입한다. 덕분에 모델이 아무리 커도 실제 연산량은 작은 편이다. 문제는 계산에 안 쓰이는 나머지 가중치. 어딘가에는 존재해야 하고, VRAM이 모자라면 그 자리를 RAM이 대신한다. 필요할 때만 익스퍼트를 시스템 메모리에서 끌어오는 방식을 흔히 라우티드 익스퍼트 오프로드라고 부른다.
여기서 병목이 하나 생긴다. 필요한 익스퍼트를 RAM에서 GPU로 옮겨 오는 속도, 즉 메모리 대역폭이 곧 디코드 속도를 결정한다. DDR4-2933은 8채널 기준 대략 188GB/s. DDR5-6400으로 가면 410GB/s 근처까지 올라간다. 두 배 이상 차이가 그대로 토큰 생성 속도 차이로 이어진다.
llama.cpp 계열 도구에서는 어텐션과 공유 가중치는 GPU에 상주시키고, 라우팅 대상인 익스퍼트 텐서만 CPU 쪽으로 내보내는 식으로 이 구조를 흉내 낸다.
# 개념 예시 — 어텐션·공유 가중치는 GPU, 익스퍼트만 시스템 RAM
./llama-server -m model-1t-q8.gguf \
-ngl 99 \
--override-tensor "exps=CPU"
이 리그의 현재 성적이 흥미롭다. 40k 토큰 프롬프트 기준으로 프리필은 초당 15,900토큰, 디코드는 초당 294토큰이다. 프리필이 빠른 건 GPU가 프롬프트를 한꺼번에 몰아 처리하기 때문이고, 디코드가 느린 건 토큰 하나를 뱉을 때마다 RAM을 왕복해야 하기 때문이다. 같은 모델, 같은 GPU인데 단계에 따라 속도가 50배 이상 벌어진다. RAM을 왕복하는 일이 얼마나 비싼지를 숫자로 보여주는 셈이다.
294 t/s면 감각적으로 어떤 수준일까. 사람이 글을 읽는 속도가 대략 초당 10~20토큰 정도니까, 대화용으로는 전혀 느리지 않다. 응답을 길게 뽑거나 여러 요청을 동시에 밀어 넣을 때 여유가 줄어들 뿐이다. 그래서 글쓴이의 고민은 단순해 보이지만 만만치 않다. DDR4 세팅을 유지하면 돈을 아끼고, 9985WX와 WRX90 보드, DDR5-6400으로 갈아타면 대역폭이 두 배 이상 붙는다. 디코드가 600 t/s 근처로 넘어갈 수 있다는 계산도 나온다. 4천 유로가 두 배 속도를 사는 값인지는 쓰는 사람마다 답이 다를 것이다.
이 글에서 또 하나 눈길을 끄는 부분이 비용 구조다. RTX 5090 여덟 장이 쉬는 시간에 채굴로 하루 약 120유로를 벌어들이고, 그 수익으로 Claude와 Codex 구독료를 충당한다고 한다. 로컬 인프라와 클라우드 구독이 경쟁 관계가 아니라 하나의 조합으로 굴러가는 사례다. GPU를 사놓고 놀리지 않고, 놀리는 시간에 돈을 벌어 구독료로 되돌린다. 덩치 큰 로컬 리그가 실은 한 사이클 안에서 회수되고 있는 셈이다. 물론 채굴 수익은 시세에 따라 흔들린다. 이 구조가 몇 년을 버틸지는 별개의 문제고, 글쓴이 본인도 그 점을 알고 있을 것이다.
“RAM 대역폭이 디코드를 지배한다”는 이 관계는 고가 리그에만 해당하는 이야기가 아니다. 요즘 많이 쓰는 30B~100B급 MoE 모델을 노트북이나 미니PC에서 돌릴 때도 똑같이 적용된다. VRAM이 모자라 익스퍼트 일부를 RAM에 두는 순간, 그 모델의 체감 속도는 GPU보다 메모리가 결정한다. 애플 실리콘의 유니파이드 메모리가 로컬 LLM 대화에서 자주 거론되는 것도 결국 같은 대역폭 이야기의 연장선이다.
한 가지 더. 개인이 1조 파라미터 모델을 앞에 두고 메모리 규격을 놓고 진지하게 고민하는 풍경 자체가, 2~3년 전에는 상상하기 어려웠다. 오프로드 기법과 양자화가 이 정도로 다듬어진 덕에 그림이 가능해졌다.
거대 모델 로컬 구동의 승부처는 GPU 개수에서 메모리 대역폭으로 옮겨 갔다. 모델이 커질수록 싸움은 결국 “데이터를 얼마나 빨리 옮기느냐”로 수렴한다. 5090을 몇 장 더 얹는 것보다 RAM이 몇 GB/s를 내주는지가 체감을 바꾸는 시대라는 게 이 글의 요약이다. 다음 업그레이드를 고민한다면 GPU 스펙 시트부터 볼 게 아니라, 지금 쓰는 메모리의 대역폭부터 확인해 볼 만하다.