753B 모델을 집에서 굴린다는 것 — M5 Max 두 대로 GLM-5.2 로컬 구동 실험
753B짜리 초대형 괴물 모델을 집구석 책상 위에서 돌린다?
(제목 보자마자 눈을 의심했다.) r/LocalLLM에 올라온 미친 실험 하나가 홈랩 커뮤니티를 발칵 뒤집어 놓았다. M5 Max 128GB 맥북 두 대를 썬더볼트 5 케이블로 묶어서 GLM-5.2를 로컬로 직접 구동해 버린 거다.
Unsloth의 IQ1_S 양자화 모델(약 202GB)을 llama.cpp RPC 분산 실행으로 물렸다고 한다. 753B면 GPT-4급 덩치인데, 이걸 클라우드 API도 데이터센터도 아닌 방구석 사설 장비로 돌려버리다니… (홈랩 덕후로서 심장이 뛰지 않을 수가 없다.)
물론 속도가 H100과 같을 리는 없다. rolling 캐시가 잡힌 후에도 ~16 tok/s 정도. 하지만 이 숫자를 단순히 “느리다”고 치부하기엔, 이 실험이 가진 맥락이 따로 있다.
무엇을 어떻게 했는가
구성을 정리하면 이렇다.
- 하드웨어: M5 Max 128GB × 2, Thunderbolt 5로 다이렉트 연결
- 모델: GLM-5.2 753B, Unsloth IQ1_S 양자화 (202GB)
- 엔진: llama.cpp RPC 분산 모드
- 속도: 웜업 후 ~16 tok/s 유지
여기서 포인트는 양자화다. IQ1_S는 1-bit 양자화의 극단적 변형으로, 정확도 손실을 감수하고 용량을 최소한으로 줄이는 방식이다. 753B를 202GB로 압축하면, Apple Silicon의 통합 메모리 256GB(128GB × 2) 안에서 간신히 들어온다. 딱 54GB 정도의 여유가 남는데, KV cache와 컨텍스트 윈도우를 생각하면 사실상 꽉 찬 상태다.
llama.cpp의 RPC 모드는 두 대의 머신을 하나의 추론 파이프라인으로 묶어준다. 한쪽이 attention 일부를 맡고, 다른 한쪽이 FFN 레이어를 처리하는 식으로 작업을 나눈다. Thunderbolt 5의 대역폭(80 Gbps)이 이 분할을 가능하게 만드는 핵심이다. 이전 세대 Thunderbolt 4에서는 레이턴시가 발목을 잡았다.
데이터는 외부 서버로 전송되지 않는다. 모델 가중치도, 입력 프롬프트도, 응답도 전부 로컬에서 처리된다. 프라이버시 측면에서 이건 클라우드 API로는 얻을 수 없는 이점이다.
16 tok/s, 쓸 만한가
이 질문에 대한 답은 “무엇을 하느냐”에 달려 있다.
대화형 채팅이라면 16 tok/s는 충분히 빠르다. 사람이 읽는 속도와 비슷하거나 약간 빠른 정도다. 스트리밍으로 나오는 텍스트를 읽으면서 대화하는 데 답답함이 없다.
다만 코드 생성이나 긴 문서 요약처럼 한 번에 수천 토큰을 뽑아야 하는 작업에서는 체감이 달라진다. 4,000 토큰짜리 응답이 나오는 데 약 4분. Claude Opus 4.8 API라면 같은 작업이 10초 안에 끝난다. 속도만 놓고 보면 비교가 안 된다.
그런데 이 사람이 선택한 것은 속도가 아니라 소유권이다. 한 달에 내는 API 비용이 없고, 사용량 한도에 부딪힐 일도 없다. 앞서 r/ClaudeCode에서 불만이 쏟아진 것과 정확히 반대 방향의 선택이다. “Teams 플랜인데 토큰이 Pro처럼 소진된다”는 불만을 들으며, 누군가는 그냥 자기 하드웨어에서 모델을 굴리고 있다.
왜 주목할까
이 실험이 의미 있는 이유는 세 가지다.
첫째, 하드웨어의 민주화. 2년 전만 해도 700B+ 모델을 추론하려면 A100이나 H100 여러 장이 필요했다. 지금은 Apple Silicon 두 대로 가능하다. M5 Max의 통합 메모리 아키텍처가 GPU VRAM의 벽을 우회하는 셈이다. Nvidia 독점 구조에 작지만 의미 있는 균열이 들어간다.
둘째, 양자화 기술의 성숙. 1-bit 수준의 극단적 양자화에서도 모델이 작동한다는 건, 압축 기술이 실사용 영역에 들어왔다는 뜻이다. 정성적 품질 저하가 있겠지만, “아예 안 된다”와 “조금 덜 똑똑하지만 된다”의 차이는 크다.
셋째, 데이터 주권. 민감한 데이터를 외부 API에 보내지 않고도 GPT-4 급 모델을 쓸 수 있다는 건, 기업이나 개인에게 실질적인 대안이 된다. 규제가 심한 산업이나, 단순히 프라이버시를 중시하는 사용자에게 의미 있는 선택지다.
정리
753B 모델을 집에서 굴리는 건 여전히 “그림의 떡”에 가깝다. M5 Max 두 대면 최소 수천만 원이고, 설정 과정도 간단하지 않다. 일반적인 사용자가 내일 당장 따라 할 수 있는 건 아니다.
그럼에도 이 사례는 하나의 마일스톤이다. “가정용 하드웨어로 어디까지 갈 수 있는가”라는 질문에 대한 답이 계속 갱신되고 있고, 그 답이 1년 전의 상상보다 훨씬 멀리 와 있다.
로컬 LLM 진영이 추구하는 건 단순히 “API 안 쓰기”가 아니다. 내 모델, 내 하드웨어, 내 데이터로 구성되는 추론 환경을 직접 조립하는 일이다. 753B를 16 tok/s로 굴리는 누군가가 보여준 건, 그 환경이 취미 수준을 넘어 실용의 영역에 진입하고 있다는 신호다.
다음 세대 Apple Silicon에서는 한 대로 충분할지도 모른다. 그때가 되면 이야기가 또 달라질 것이다.