M5 울트라의 1.2TB/s가 로컬 LLM 지형을 다시 흔든다 — Mac Studio vs GPU의 계산법
오늘 아침 애플 하드웨어 스펙표를 보다가 마시던 커피를 뿜을 뻔했다. (내 통장이 또다시 살려달라고 비명을 지른다) M5 Ultra의 메모리 대역폭이 무려 ‘1.2TB/s’란다. r/LocalLLM 레딧은 그야말로 광란의 축제와 집단 멘붕이 뒤섞여 아수라장이 됐다. 게시판을 달구는 질문은 딱 하나로 모인다. “이제 방구석에서 70B 넘는 대형 모델 돌릴 때, 시끄럽고 뜨거운 엔비디아 GPU 다중 세팅 대신 맥 스튜디오 한 대 놓는 게 종결인가?”
왜 대역폭이 속도인가
로컬 LLM 추론, 특히 토큰을 한 글자씩 뚝뚝 찍어내는 디코딩(Decoding) 단계의 병목은 GPU 연산력(FLOPS)이 아니라 ‘메모리 대역폭’이다. 새 토큰 하나를 뱉을 때마다 모델의 수십 기가바이트 가중치를 메모리에서 통째로 긁어와야 하니, 1초에 메모리를 몇 기가바이트나 퍼 나를 수 있느냐가 그대로 초당 토큰 속도(t/s)가 된다.
여기에 1.2TB/s라는 무지막지한 고속도로가 뚫린 거다. 70B급 모델을 4bit 양자화하면 대략 40GB 남짓이다. 단순 산술 계산만 때려봐도 초당 토큰 속도가 두 자릿수 후반에서 세 자릿수까지 치솟는다. 기존 M2/M3 울트라가 800GB/s 언저리에서 놀던 것과 비교하면 체감 속도의 차원이 바뀐다.
그리고 최대 256GB 단일 통합 메모리(Unified Memory). 이게 진짜 깡패다. VRAM 부족하다고 모델을 2비트, 3비트로 쥐어짜며 품질 깎아먹을 필요도 없고, 128k짜리 롱 컨텍스트를 통째로 얹어도 메모리가 널널하다. 엔비디아 진영에서 단일 256GB VRAM을 맞추려면 중고차 한 대 값은 우습게 깨지는 H100이나 엔터프라이즈 카드로 가야 한다(지갑 눈감아…).
커뮤니티의 갈등은 생생하다
레딧 반응을 구경하는 게 웬만한 드라마보다 재밌다. 한 유저는 바로 지난주에 큰맘 먹고 RTX Pro 4000 Blackwell 두 장을 꽂아서 VRAM 48GB 시스템을 맞췄단다. Qwen 27B를 Q6 퀀트에 128k 컨텍스트로 아주 만족스럽게 돌리며 흐뭇해하고 있었는데, M5 Ultra 발표를 보자마자 멘탈이 산산조각 났다. “조금만 더 보태서 맥 스튜디오 샀으면 256GB에 대역폭도 씹어 먹었을 텐데…“라며 울부짖는다. 다음 달에 GPU 3호기를 증설하려던 계획은 전면 취소됐단다(남일 같지 않아서 눈물이 난다).
반대편에서는 아침에 눈뜨자마자 맥 스튜디오 풀옵션 10,000달러(천만 원이 넘는다!)를 긁어버린 용자의 인증샷이 올라왔다. 댓글창은 “학생 할인 받아도 만 달러 넘더라”며 동반 파산한 동지들의 고백과, “앤트로픽 다리오가 경고하던 AI 하드웨어 인플레이션이 바로 이거냐”는 자조적 농담으로 가득 찼다.
마침 Qwen 진영에서도 깜짝 소식이 터졌다. Qwen3.8-Flash-Next가 공개됐는데 내부 아키텍처는 이미 차세대 Qwen4 구조란다. 하드웨어와 오픈소스 모델 양쪽에서 동시에 지각변동이 일어나는 폭풍의 한 주다.
여전히 맥은 만능이 아니다
그렇다고 맥 스튜디오가 모든 로컬 LLM의 완전무결한 치트키일까? 당연히 아니다. 함정은 분명히 존재한다.
첫째, 프리필(Prefill) 구간의 연산력 부족이다. 긴 프롬프트나 수만 줄의 문서를 한 번에 밀어 넣고 모델이 첫 토큰을 뱉기까지의 연산은 순수 GPU 파워가 결정한다. 토큰 생성(디코딩)은 맥이 날아다녀도, 첫 응답을 기다리는 첫 프롬프트 처리는 여전히 엔비디아 텐서 코어에 밀린다.
둘째, 생태계와 툴체인이다. 모델 파인튜닝, LoRA 학습, 최신 연구 코드들은 99%가 CUDA 우선으로 짜인다. 애플의 Metal/MLX 생태계가 엄청나게 치고 올라왔지만, 엔비디아의 탄탄한 인프라와 비교하면 여전히 손이 많이 가는 게 사실이다.
결국 공식은 명확하다. 내 주 목적이 ‘거대 모델 추론, 긴 대화, 코딩 에이전트 구동’이라면 맥 스튜디오의 통합 메모리가 가성비(엔비디아 서버 대비) 끝판왕이다. 하지만 ‘학습, 고속 파인튜닝, 최신 CUDA 라이브러리 테스트’가 필수라면 여전히 엔비디아 외길이다.
정리
1.2TB/s 메모리 대역폭과 256GB 통합 메모리는 단순히 스펙 자랑이 아니다. 방구석 홈랩에서 70B 이상의 프론티어급 모델을 쾌적하게 굴릴 수 있는 문턱을 확 낮춘 역사적 사건이다.
새 맥 스튜디오를 지를지 말지 고민이라면 내 작업의 본질이 ‘추론’인지 ‘학습’인지 냉정하게 따져보자. 물론 통장 잔고를 확인하는 순간 고민의 90%는 자동으로 해결된다(아, 맥 스튜디오 마렵다…).
원본 스레드: