16GB VRAM에서 Qwen 27B 굴리기 — r/LocalLLM의 극한 튜닝 가이드 읽기

로컬 LLM 좀 돌려보겠다고 세팅하다 보면 항상 같은 벽에 머리를 세게 박는다. 그렇다. VRAM 부족이다(내 지갑 눈감아…). 27B급 모델을 제대로 돌리려면 최소 24GB VRAM 카드를 사거나 맥 스튜디오를 들여놓아야 한다는 게 정설처럼 굳어진 마당에, 16GB 그래픽카드 하나 쥐고 있는 서민 개발자는 그저 침만 흘려야 할까? 어젯밤 r/LocalLLM에 올라온 글 하나가 내 이런 패배주의를 시원하게 박살 내버렸다. 결과부터 말하자면, 벽에 부딪히기는커녕 벽을 부수고 넘어갔다.

u/Stainless-Bacon이라는 유저가 올린 가이드인데, RTX 4070 Ti SUPER 16GB에서 Qwen 3.8 27B Q4_K_M 양자화 모델을 무려 컨텍스트 130k 이상, 초당 약 20토큰(t/s)으로 뿜어내는 기적을 보여준다. 숫자도 놀랍지만 핵심은 ‘접근법’이다. 비싼 하드웨어를 새로 지르는 게 아니라, 가진 자원을 영혼까지 쥐어짜 내서 만든 결과물이다(역시 돈이 없으면 뇌를 갈아 넣어야 한다). 16GB VRAM 유저라면 무조건 북마크 박고 따라 해야 할 보물지도다.

핵심은 네 가지 조합

이 마법 같은 가이드의 뼈대는 llama.cpp 위에서 완성된다. 외계 기술이 들어간 게 아니라, 이미 오픈소스로 굴러다니던 최신 기법 4개를 칼같이 조합해 쌓아 올렸다.

첫째, MTP(Multi-Token Prediction) 스펙큘러 디코딩. 모델이 다음 토큰 몇 개를 미리 찍어 맞히고 본 모델이 검증하는 방식이다. CPU 오프로드로 느려터진 추론 속도를 심폐소생술 해주는 핵심 축이다. 여기에 문맥 재인용에 강한 ngram 드래프터를 얹고, 드래프트 모델의 KV 캐시까지 양자화해서 VRAM을 0.4GB 더 쥐어짰다.

둘째, 선별적 CPU 오프로드. 레이어 전체를 통째로 넘기는 무식한 짓을 하지 않는다. --override-tensor 옵션으로 가장 덩치가 큰 FFN(Feed-Forward Network) 서브레이어만 골라서 CPU로 토스한다. FFN은 KV 캐시를 건드리지 않아서 PCIe 대역폭을 덜 갉아먹고, CPU가 처리하기에도 한결 부드럽다. 컨텍스트가 길어질수록 속도가 나락으로 떨어지던 고질병을 여기서 잡아냈다.

셋째, KV 캐시 양자화다. K는 q5_0, V는 q4_1. 토큰 하나하나가 차지하는 메모리를 극한으로 다이어트해야 130k 컨텍스트가 통째로 들어간다. 흥미로운 건 모델 자체가 이미 양자화되어 있을수록 KV 양자화에 따른 품질 손실도 적다는 분석이다. 컨텍스트 길이가 64k든 128k든 유의미한 품질 저하가 없었다는 실측 결과도 눈에 띈다.

넷째, 통합 메모리(Unified Memory) 오버플로다. GGML_CUDA_ENABLE_UNIFIED_MEMORY=1 플래그로 넘쳐나는 VRAM을 시스템 RAM으로 자연스럽게 흘려보낸다. 이 한 줄 덕분에 최대 컨텍스트가 121k에서 147k로 뻥튀기됐고, OOM(메모리 부족)으로 프로세스가 터지는 대신 조금 느려지더라도 끝까지 버티는 튼튼한 시스템이 됐다.

llama-server \
  --model Qwen3.8-27B-Q4_K_M.gguf \
  --ctx-size 147000 \
  --flash-attn on \
  --cache-type-k q5_0 \
  --cache-type-v q4_1 \
  --spec-type draft-mtp,ngram-mod \
  --override-tensor 'blk\.([0-7]|10|13|...)\.ffn_.*=CPU' \
  --threads 14 \
  --batch-size 512

위 코드는 핵심 뼈대만 추린 것이다. 실제 원문에는 샘플링 파라미터부터 빌드 플래그 하나하나까지 상세한 근거가 붙어 있으니, 무작정 복붙하기보단 자기 하드웨어 사정에 맞게 조금씩 다듬는 게 정답이다.

하드웨어도 코드처럼 튜닝한다

이 글을 읽으며 감탄했던 지점은 소프트웨어 설정만으로 끝나지 않는다는 거다. RAM 오버클럭과 타이밍 조여서 9% 속도를 더 뽑아내고, 인텔 E-코어까지 스레드 풀에 강제로 밀어 넣어 19~22% 추가 속도를 덤으로 챙겼다. 모니터 출력용 VRAM 0.4GB가 아까워서 외장 GPU 대신 CPU 내장 그래픽(iGPU)으로 모니터를 물리는 집요함까지 보여준다(진짜 엔지니어의 광기가 느껴진다).

병목이 생기는 변수를 하나씩 걷어내는 과정이 소프트웨어 프로파일링과 완벽히 닮아 있다. LLM 추론 엔진 튜닝도 결국 로우레벨 시스템 최적화와 똑같은 근육을 쓴다는 걸 증명한 셈이다.

글쓴이는 친절하게도 VRAM이 12GB라면 Q3_K_M에 KV를 q4로 낮추고, 8GB라면 Q2를 쓰거나 더 작은 모델로 갈아타라는 현실적인 가이드라인까지 깔아줬다.

왜 주목할까

이 튜닝 글이 유독 뜨거운 반응을 얻은 이유는 커뮤니티의 처절한 현실 때문이다. 같은 날 레딧에 올라온 다른 글에는 정반대의 절규가 넘쳐났다. Qwen 27B가 3 t/s로 기어가는 꼴을 보며(초당 세 글자면 복장 터져서 죽는다), 4비트 양자화 모델이라도 사람답게 돌리려면 결국 1,000달러 넘는 24GB GPU를 사야 하냐는 한탄이었다. 로컬 LLM 씬에서 ‘무한 고통의 루프’는 밈이 아니라 일상이다.

한쪽에서는 16GB로 20 t/s를 뽑아내고, 다른 쪽에서는 3 t/s로 기어가며 좌절하는 풍경이 동시에 공존한다. 결국 하드웨어의 한계는 분명 존재하지만, 그 턱밑까지 파고들어 쥐어짜 내는 사람에겐 다른 세상이 열린다는 뜻이다. 댓글 토론도 치열했다. KV 손실을 줄이는 새 양자화 방식을 추천하자, 글쓴이는 “해당 GGUF의 KLD 수치 데이터가 비어 있다”며 무지성 다운로드를 거부했다. 맹신도 비관도 없는, 진짜 엔지니어들의 검증 현장이다.

정리

24GB 고가 GPU 없이도 27B dense 모델을 실사용 속도로 굴릴 수 있다는 걸 멋지게 증명했다. MTP 스펙큘러 디코딩, 선별적 FFN 오프로드, KV 양자화, 통합 메모리. 네 개의 퍼즐이 맞물리며 VRAM의 한계를 극복해 냈다.

로컬 LLM의 벽이 단순히 통장 잔고에만 있는 게 아니라는 사실을 다시 한번 느꼈다. 결국 얼마나 집요하게 시스템을 이해하고 튜닝하느냐의 싸움이다. 16GB VRAM을 쥐고 있는 개발자라면 당장 주말에 날 잡고 세팅해 볼 가치가 충분하다(내 맥미니와 PC 팬 돌아가는 소리가 벌써 들리는 듯하다).

원문: Guide for running dense models on ≤16 GB VRAM (r/LocalLLM)