게이밍 PC 하나로 51B 모델 돌리기 — SSD 오프로드의 실전 레시피

내 방 책상 밑 게이밍 PC 한 대로 51B 파라미터짜리 거대 모델을 굴려 코딩 에이전트를 시킨다? (불과 1년 전이었으면 헛소리 취급당하기 딱 좋은 얘기다)

요즘 로컬 LLM 씬의 화두는 딱 하나다. “내 방구석 PC에서 이 무거운 모델을 어떻게 안 터뜨리고 돌릴 것인가.” 어제 r/LocalLLM에 이 질문에 대해 지금까지 본 것 중 가장 화끈하고 실전적인 답이 하나 올라왔다. RTX 4090 한 장(24GB VRAM)에 시스템 램 32GB라는 현실적인(?) 사양에서 51B 모델로 2시간 넘는 에이전트 코딩 세션을 완벽하게 완주해 낸 후기다.

무엇을 했나

아이디어의 핵심은 놀라울 만큼 직관적이다. Qwen3.8-Flash-Next의 51B짜리 거대한 n-gram/PLE 테이블을 비싼 VRAM에 억지로 올리지 않고, 메인보드에 꽂힌 NVMe SSD에 둔 채 필요할 때만 쏙쏙 읽어오는 거다. llama.cpp의 --tensor-read-lazy 플래그가 바로 이 온디맨드 로딩의 마법을 부려준다.

원래 대형 모델을 로컬에서 돌리려면 선택지가 두 개뿐이었다. 극단적인 양자화로 모델 지능을 깎아 먹거나, 수백만 원 들여 GPU를 여러 장 주렁주렁 매달거나. 전자는 뇌를 파먹고 후자는 통장을 파먹는다.

하지만 이 접근법은 제3의 길을 열었다. NVMe SSD를 L3 캐시처럼 취급하는 방식이다. 최근 오픈소스 모델들에 유행처럼 들어가는 거대한 룩업 테이블처럼 “가끔 쓰이는데 덩치만 무식하게 큰 녀석들”을 밖으로 빼내는 데 기가 막히게 들어맞는다.

결과 속도는 초당 15~27토큰(t/s). 100 t/s 넘는 미친 속도는 아니지만, 터미널에서 글자가 뚝뚝 끊기지 않고 사람이 읽고 판단하기에 전혀 답답하지 않은 실전 속도다.

12만 토큰짜리 에이전트 세션을 끝까지

단순히 “헬로 월드” 찍어보고 잘 된다고 호들갑 떠는 벤치마크는 아무 짝에도 쓸모없다. 진짜 시험대는 긴 호흡의 실전 코딩이다.

작성자는 컨텍스트가 무려 12만 토큰(128k)까지 차오르는 빡센 에이전트 코딩 세션을 돌렸다. 총 112턴 대화에 툴 호출(Tool Call)만 111번. 장장 2시간 19분 동안 에이전트 혼자 시스템을 쥐고 흔들었고, 그 결과 Playwright 엔드투엔드(E2E) 테스트 29개를 올 패스하는 웹 앱을 통째로 뽑아냈다(이 대목에서 소름이 돋았다).

로컬 모델로 에이전트 코딩을 해본 사람들은 안다. 긴 세션이 이어질수록 모델이 중간에 헛소리하며 뻗어버리거나, 컨텍스트가 차오를수록 속도가 나락으로 가서 인간이 기다리다 먼저 지쳐 쓰러지는 게 일상이다. 그런데 이 세팅은 12만 토큰 끝까지 세션이 단단하게 버텼고, 15~27 t/s의 쾌적한 템포로 작업을 끝냈다.

# 핵심은 이 한 줄의 옵션
./llama-server -m qwen3.8-flash-next.gguf \
  --tensor-read-lazy \
  --ctx-size 131072

세부 플래그 세팅은 원문 스레드에 잘 정리되어 있는데, 거대 테이블을 lazy로 분리하고 컨텍스트를 128k로 넉넉하게 잡은 구성이다.

“27B보다 나은가?”라는 질문

댓글창에 당연히 나올 법한 날카로운 질문이 달렸다. “그냥 27B 모델을 VRAM에 100% 올려서 초당 50토큰으로 빠르게 돌리는 게 낫지 않냐?”

여기에 대한 작성자의 대답이 엔지니어로서 깊은 울림을 준다. 단순히 27B와의 벤치마크 품질 경쟁이 목적이 아니라는 거다. “소비자용 단일 그래픽카드 환경에서 51B급 아키텍처 모델의 실사용이 기술적으로 성립하는가”를 증명하는 게 목적이었다고.

백번 맞는 말이다. 51B를 값비싼 엔터프라이즈 장비 없이 평범한 PC에서 실전으로 굴릴 수 있다는 건, 완전히 새로운 선택지가 생긴다는 뜻이다. 오늘은 51B지만 내일은 더 거대한 모델이 이 구조를 타고 내려올 텐데, 그때 이 최적화 레시피가 그대로 재활용된다.

왜 주목할까

지금 판세를 보면 오픈소스 진영에서 GLM-5.3이나 Qwen 차세대 같은 프론티어급 모델들이 오픈 웨이트로 쏟아져 나오고 있다. 소프트웨어 쪽에서는 이미 “무료로 쓸 수 있는 똑똑한 모델”이 넘쳐난다.

그렇다면 남은 병목은 하드웨어와 비용이다. 수억 원짜리 GPU 클러스터를 굴릴 수 있는 빅테크나 스타트업은 극소수다. 대다수의 인디 해커와 직장인 개발자는 책상 밑 PC 한 대로 싸워야 한다.

SSD 오프로드는 그 거대한 자본의 격차를 기술적 테크닉으로 메워주는 사다리다. 단순한 토이 프로젝트가 아니라 111번의 툴콜을 버텨낸 실전 에이전트로 증명됐다는 점에서 더욱 빛난다.

정리

• 51B 모델의 무거운 룩업 테이블을 NVMe SSD에 박아두고 lazy 로딩하면 24GB VRAM에서도 여유롭게 돌아간다.
• 15~27 t/s의 실전 속도로 12만 토큰, 112턴의 롱에이전트 코딩 세션을 완주했다.
• 단순한 점수놀이가 아니라 “소비자 하드웨어에서 대형 모델 실사용 가능”을 증명한 값진 레시피다.

VRAM 부족하다고 한숨 쉬며 큰 모델을 포기했던 개발자라면 주말에 꼭 한번 세팅해 보자. 비싼 GPU 증설하기 전에, 이미 PC에 꽂혀 있는 NVMe SSD부터 알뜰하게 털어먹는 게 현명한 엔지니어의 길이다.