GPU 10개를 얹은 256GB VRAM 워크스테이션, 반년 돌려보니
매달 찍히는 클라우드 API 청구서를 보면서 “아씨, 이 돈 모아서 차라리 고성능 GPU 머신 한 대 맞추고 말지”라는 망상, 개발자라면 누구나 한 번쯤 해봤을 거다(물론 통장 잔고 보고 조용히 창을 닫는다). 그런데 그 광기를 진짜로 실행에 옮긴 진짜배기 용자가 나타났다. r/LocalLLM의 u/SweetHomeAbalama0라는 유저가 그래픽카드 10장을 쑤셔 박아 VRAM 256GB짜리 괴물 워크스테이션을 조립하고, 무려 반년 동안 프로덕션에서 굴려본 찐 후기를 올렸다.
단순한 돈 자랑이나 벤치마크 캡처가 아니다. 전기세, 두꺼비집 내려가는 전압 스파이크, 발열 잡는 법, 모델별 실체감 속도까지 인프라 엔지니어 특유의 집요함으로 탈탈 털었다.
도대체 뭘 만든 건가
스펙표를 보는 순간 입이 떡 벌어졌다.
- CPU: AMD Threadripper 3995WX (64코어 128스레드)
- RAM: 512GB DDR4-3200 ECC
- GPU: RTX 3090 24GB × 8장 + RTX 5090 32GB × 2장 (합산 VRAM 256GB)
- 파워: 1300W + 1600W 듀얼 PSU (합산 2900W)
- 케이스: Thermaltake Core W200 (냉장고만 한 슈퍼타워)
- OS: Ubuntu 25.10
- 스택: Open WebUI + llama.cpp / KoboldCpp
총 견적만 약 17,000달러(한화 약 2,300만 원). 그래픽카드 값만 12,000달러가 넘게 깨졌다. 3090은 당근 같은 중고 매물로 긁어모았고, 5090 두 장은 정가로 질렀단다.
만든 목적도 확고하다. 소규모 비즈니스용 올인원 워크스테이션이다. 초거대 MoE 모델을 로컬에서 상시로 돌리면서, 동시에 ComfyUI로 미친 듯이 이미지를 뽑아내는 스튜디오를 한 대의 머신으로 끝내겠다는 야심이었다.
실제로 뭘 돌릴 수 있나
이 괴물 머신의 진짜 무기는 200GB가 넘는 무식한 크기의 모델을 양자화 손실 거의 없이 ‘순수 VRAM’에 몽땅 얹어버릴 수 있다는 점이다. 1조 개 파라미터짜리 Kimi K2 저용량 버전도 돌아갔지만, 반년간 굴려보며 찾은 실전 스윗스팟은 300B~600B급 MoE 모델들이었다.
실제 실측된 토큰 처리 속도가 아주 흥미롭다.
| 모델 | 크기 | 프롬프트 처리 (t/s) | 생성 속도 (t/s) |
|---|---|---|---|
| Deepseek V3.2 671B (Q2) | 217GB | 70~153 | 10~19 |
| Nemotron Ultra 3 550B (IQ2) | 194GB | 254~429 | 17 |
| Qwen 3.5 397B (IQ4) | 190GB | 522~897 | 31~34 |
| GLM 4.7 358B (Q4) | 205GB | 344~688 | 14~24 |
| Deepseek V4 Flash 294B (Q8) | 162GB | 46~111 | 4~7 |
속도 편차가 꽤 크다. Qwen 3.5는 초당 30토큰이 넘어서 책 읽는 속도보다 빠르게 글을 쏟아낸다. 반면 Deepseek V4 Flash는 기본 세팅에선 초당 4~7토큰으로 거북이걸음이었는데, KV 캐시 옵션을 손보고 8개 카드로 병렬 텐서를 찢었더니 15 t/s까지 3배나 떡상했다(역시 엔지니어링의 세계는 튜닝 맛이다).
실체감 평가도 아주 솔직하다. GLM 4.7은 체급이 작은데도 실제 코딩에선 Qwen 3.5보다 똑똑하다고 느꼈단다. 그리고 Deepseek V4 Flash는 덩치는 가장 작으면서도 무손실 Q8 정밀도 덕분인지 분석 능력에서 상위 체급 모델들을 뺨 때릴 정도로 날카로웠다고 극찬했다.
GPU 10개의 발열과 전기세, 안 터지나?
이 글을 보면서 모든 공돌이가 가장 먼저 떠올렸을 걱정: “집 두꺼비집 안 내려가나? 방 안이 사우나 되는 거 아님?”
놀랍게도 실측 전력 소모는 평화로웠다. GPU 10개가 굉음을 내며 불탈 것 같지만, MoE(Mixture of Experts) 모델의 특성상 추론할 때 모든 전문가가 한꺼번에 풀파워로 일하지 않는다. PCIe 대역폭 병목 때문에 연산보다 GPU끼리 통신하며 기다리는 대기 시간이 길어서, 실제 풀로드 추론 시에도 1400~1600W 수준에 머문다. 일반 가정용 20A/120V 콘센트 허용치(2400W) 안에서 넉넉하게 돌아간다.
진짜 복병은 따로 있었다. 바로 ‘순간 돌입 전류(Transient Spike)’다. 10장의 GPU가 대기 상태에서 동시에 연산을 시작하는 찰나의 순간, 순간 전압 강하가 일어나며 메인보드가 셧다운되어 버리는 거다(이게 진짜 지옥이다).
글쓴이는 이 문제를 nvidia-smi를 통한 클럭 고정과 전력 제한으로 기가 막히게 잡아냈다.
# 3090 8장: 클럭 1200MHz 고정 + 200W 전력 제한
sudo nvidia-smi -i 0,1,2,3,4,5,6,7 --lock-gpu-clock=1200,1200
sudo nvidia-smi -i 0,1,2,3,4,5,6,7 -pl 200
# 5090 2장: 클럭 2000MHz 고정 + 400W 전력 제한
sudo nvidia-smi -i 8,9 --lock-gpu-clock=2000
sudo nvidia-smi -i 8,9 -pl 400
이 언더볼팅 세팅 하나 먹여주니 며칠 동안 수십만 토큰을 갈아 넣어도 단 한 번의 뻗음 없이 칼같이 버텼단다.
온도도 착하다. 아이들 시 40도 중반, 추론 중에도 60도 중반이다. 140mm 대형 팬들을 케이스 전면과 측면에 빼곡하게 둘러서 거대한 공기 터널을 만들어준 게 주효했다. 소음도 서버실 귀 찢어지는 비명이 아니라 고사양 게이밍 본체 돌아가는 수준이란다.
왜 주목해야 할까
이 글이 가슴을 울리는 이유는, 글쓴이가 AI 연구실 교수가 아니라 매일 현장에서 랙 꽂고 서버 만지는 뼛속까지 인프라 엔지니어라는 점이다. 이론적 최고 성능딸을 치는 게 아니라, “안 꺼지고 매일 내 일을 대신해 주는 머신”을 만들었다.
글쓴이는 “로컬 LLM은 이제 절대 장난감이 아니다”라고 단언한다. 반년 동안 코딩하고 인프라 스크립트 짜면서 절약한 시간이 상상을 초월한단다. 토큰 사용량 카운터 보며 눈치 볼 필요도 없고, 회사 기밀 코드가 외부 서버로 샐 걱정도 없다.
물론 한계도 명확하다. 이건 학습(Training)용 머신이 아니고, 수백 명이 달라붙는 동시 접속용 서버도 아니다. 오직 1~2명의 파워 유저가 최고급 모델을 지연 없이 마음껏 갈아 넣기 위한 극강의 개인용 요새다.
한 줄 요약
17,000달러(약 2,300만 원)는 절대 적은 돈이 아니다. 하지만 매달 수백 달러씩 API 비용을 쏟아붓고 있고 데이터 보안이 목숨과 같은 환경이라면, 반년 만에 밥값을 뽑아내고도 남는다는 계산이 나온다.
“내가 만든 게 최고다!”라고 으스대지 않고, 수많은 크래시와 전압 이슈를 어떻게 삽질해서 극복했는지 담담하게 써 내려간 진짜 엔지니어의 기록. 홈랩을 꿈꾸는 개발자의 심장에 불을 지피는 글이다(내 맥미니 눈 감아…).
원문은 r/LocalLLM에서 볼 수 있다.