VRAM이 없어도 된다 — SSD에서 돌아가도록 처음부터 설계된 모델, Curie

로컬에서 LLM을 굴리려면 무조건 비싼 그래픽카드(VRAM)가 빵빵해야 한다는 건 개발자 씬에서 거의 종교적인 교리였다. VRAM 모자라면 양자화하고, 그래도 안 되면 모델 사이즈를 8B로 눈물을 머금고 깎는 게 일상이었다. 수천만 원짜리 H100이나 맥 스튜디오 풀옵션을 침 흘리며 바라보는 내 텅 빈 통장은 늘 서글펐다(애플 램 업그레이드 가격은 또 왜 그리 사악한지).

그런데 r/localllm에 이 절대 교리를 정면으로 비웃는 기묘한 프로젝트가 등판했다. 4천만 원짜리 GPU 대신, 당근마켓에서도 흔히 굴러다니는 ‘6만 원짜리 NVMe SSD’ 위에서 돌아가도록 태생부터 뼈대를 깎아 만든 17B 모델, 바로 ‘Curie(큐리)’다.

궁금증에서 출발한 설계

개발자가 던진 도발적인 질문부터가 예술이다.
“3만 달러(약 4천만 원)짜리 워크스테이션 없이, 알리나 아마존에서 파는 60달러짜리 싸구려 SSD로 수백B 파라미터 모델을 돌릴 수는 없을까?”

보통 이런 고민이 들면 대부분 “아 돈 모아서 5090이나 사야겠다…” 하고 현실과 타협한다. 하지만 이 프로젝트의 제작자는 정반대로 폭주했다. “그래픽카드 VRAM에 모델을 다 올리지 못한다”는 냉혹한 현실을 아예 기본 전제로 깔고, 새로운 추론 아키텍처인 colibrì 엔진을 바닥부터 파버린 것이다.

기존의 SSD 오프로딩(Offloading)은 어디까지나 “VRAM이 모자라니까 울며 겨자 먹기로 SSD에 임시 스왑을 거는” 땜질 처방이었다. 속도가 기어가는 게 당연했다. 하지만 Curie는 설계 철학부터 다르다. SSD(저장장치)와 RAM, GPU를 태생부터 ‘하나의 거대한 통합 메모리 계층(Hierarchy)’으로 취급한다. 모델 가중치 전체가 VRAM에 상주할 필요가 없도록 처음부터 아키텍처를 짠 거다.

더 미친 건 구현 방식이다. 파이토치나 무거운 프레임워크 다 집어치우고 순수 C 언어로 엔진을 한 줄 한 줄 직접 짰다. 심지어 GPU도 없는 일반 노트북에서 모델 학습을 돌렸다고 한다(이쯤 되면 개발자가 아니라 도인이다).

성능은 어느 정도일까

그렇다면 속도는 어떨까?
놀랍게도 단일 CPU 코어만 써서 초당 33토큰(33 tok/s)을 뿜어낸다. 같은 일반 PC CPU에서 기존 dense 12B 모델을 돌리면 고작 초당 3~5토큰 나오며 렉 걸리던 걸 생각하면 거의 10배에 가까운 충격적인 수치다.

물론 공짜 점심은 없다. 17B 파라미터 전체를 매 토큰마다 다 계산하는 게 아니라, 모델 구조를 극단적으로 희소(Sparse)하게 설계해서 필요한 파라미터만 SSD에서 번개처럼 읽어 들이는 방식이다. 같은 파라미터 숫자의 빽빽한(Dense) 모델과 지능을 1:1로 비교하긴 어렵다.

게다가 제작자도 솔직하게 고백하듯, 이제 겨우 1,100만 개 토큰을 먹인 극초기 알파(Alpha) 단계다. 지금 당장은 똑똑한 답변을 기대하기 어렵고 거의 옹알이 수준에 가깝다. 라마나 미스트랄 같은 거대 오픈소스 모델과 지능으로 맞짱 뜨기엔 갈 길이 구만리다.

그래도 주목할 이유

지능도 아직 덜 찬 알파 버전에 왜 전 세계 엔지니어들이 열광할까? 이 프로젝트가 가리키는 ‘방향성’이 너무나 매혹적이기 때문이다.

지금 로컬 LLM 생태계는 크게 두 갈래로 나뉜다.
하나는 2017년산 구형 테슬라 V100 같은 골동품 GPU를 소프트웨어 최적화로 영혼까지 쥐어짜서 살려내는 ‘심폐소생파’다(실제로 최근 V100에서 218 tok/s를 뽑아낸 사례도 있었다).
다른 하나는 Curie처럼 “비싼 VRAM 중심의 패러다임 자체를 거부하고, 싼 하드웨어로 판을 뒤엎자”는 ‘아키텍처 혁명파’다.

생각해보자. VRAM 24GB짜리 그래픽카드는 200~300만 원을 호가하지만, 2TB(2,000GB!)짜리 초고속 PCIe 4.0 NVMe SSD는 10만 원대면 산다. 만약 지능 저하를 최소화하면서 SSD 대역폭을 극대화하는 아키텍처가 자리를 잡는다면?
수백B짜리 초거대 모델을 일반 가정집 데스크톱이나 맥미니에 10만 원짜리 외장 SSD 하나 꽂아서 쾌적하게 돌리는 시대가 열릴 수도 있다는 뜻이다. 게임의 룰 자체가 바뀐다.

정리

냉정하게 말해서 Curie는 당장 내 코딩 보조로 써먹을 물건은 아니다(아직 말귀도 잘 못 알아듣는다).
하지만 “모델 가중치는 무조건 VRAM에 다 올려야 한다”는 상식을 깨부수고, 저렴한 저장 계층과의 하이브리드 설계가 실제로 고속 작동할 수 있음을 증명했다는 것만으로도 박수받아 마땅하다.

엔진 소스코드가 깃허브에 오픈소스로 풀려 있으니, C 언어와 저수준 메모리 최적화에 변태적인 관심이 있는 개발자라면 코드를 꼭 뜯어보길 권한다. 로컬 AI의 다음 특이점은 황회장(엔비디아)의 값비싼 차세대 GPU가 아니라, 우리 방구석 SSD를 쥐어짜는 천재 해커들의 코드에서 터져 나올지도 모르니까.