단돈 230달러로 64GB 로컬 LLM 머신을 만든 사람

단돈 230달러로 64GB짜리 로컬 LLM 서버를 조립한 호주 괴짜 개발자가 등장했다(이건 진짜 영혼의 가성비다).

중고 M1 Max 로직보드를 200달러에 줍고, 30달러짜리 알루미늄 케이스에 3D 프린터로 뽑은 부품을 이어 붙여 35B 모델 머신을 완성했다는 스토리가 r/localllm에서 210개가 넘는 추천을 받았다. 기존에 돌리던 0.8B짜리 장난감 모델에서 단숨에 35B 코딩 모델로 점프했다는 후기다.

맥미니나 중고 맥 하드웨어를 홈랩 머신으로 굴려본 개발자라면 침을 질질 흘릴 만한 빌드다.

애플 실리콘의 통합 메모리가 치트키인 이유

엔비디아 그래픽카드로 VRAM 64GB를 맞추려면 수백만 원짜리 중고 엔터프라이즈 카드를 사거나 RTX 3090 두 장을 묶어야 한다. 전력 소모와 발열, 소음도 만만치 않다.

반면 애플 실리콘은 CPU와 GPU가 거대한 RAM을 함께 쓰는 통합 메모리(Unified Memory) 구조다. 메모리 대역폭도 400GB/s에 달한다. 겉보기엔 부서진 노트북 보드 조각이지만, 양자화된 35B 모델을 올려서 서빙하기엔 이만한 가성비 괴물이 없다.

전력 소모도 고작 수십 와트에 불과하다. 24시간 내내 켜두고 터미널 에이전트 서브 모델로 굴려도 누진세 걱정이 없다.

로컬 AI는 이제 하드웨어 덕질의 영역이다

이 프로젝트가 뜨거운 반응을 얻은 건, 비싼 클라우드 API 구독료에 지친 개발자들에게 “발품만 팔면 나만의 로컬 두뇌를 저렴하게 구축할 수 있다”는 강력한 희망을 보여줬기 때문이다.

클라우드 모델의 검열과 토큰 비용 눈치를 보지 않고, 내 방 책상 밑에서 묵묵히 돌아가는 64GB 머신. 조만간 당근마켓에서 액정 깨진 M1 Max 맥북 매물부터 뒤져봐야겠다.