1,500달러로 192GB VRAM 만들기 — 2016년 테슬라 M10 여섯 장으로 큰 LLM 돌리기

로컬 LLM 얘기가 나오면 대화는 대개 같은 지점에서 멈춘다. VRAM이 부족하다는 것. RTX 4090이든 5090이든 용량 자체가 24GB 언저리에서 끊기고, 그 이상을 원하면 수천 달러짜리 워크스테이션 카드로 넘어가야 한다. 그래서 r/LocalLLM에 올라온 이번 글이 신선하게 읽혔다. 2016년산 데이터센터용 테슬라 M10 카드 여섯 장을 물려 192GB VRAM을 만들었고, 전체 장비 가격은 1,500달러. QWEN 3.8 Flash Next를 FP8로 띄워 초당 52.5 토큰으로 뽑아낸다는 실측까지 붙어 있다.

왜 하필 M10인가

M10에 대해 아는 사람은 별로 없다. 한 장에 GM107 코어 네 개를 붙여놓은, 맥스웰 세대(2016)의 가상화용 카드다. 코어 하나에 8GB씩, 카드당 32GB. 작성자 표현을 빌리면 “물어보는 AI마다 전부 ‘AI 연산에 못 쓴다’고 답한다”는 데, 여기서부터가 이 글의 출발점이다.

성능표만 보면 그 말이 맞다. GM107 하나의 메모리 대역폭은 83GB/s, fp32 연산량은 1.67 TFLOPS. 최신 5070 Ti와 비교하면 대역폭은 10분의 1, 연산량은 수십 분의 1 수준이다. 그런데 가격이 문제다. M10 한 장은 중고로 80달러쯤에 풀린다. 여섯 장 사면 192GB가 생기고, 물린 카드를 다 합쳐도 500달러.

거기에 대역폭을 합산해보면 계산이 흥해진다. 6장 × 4코어 × 83GB/s = 약 1,992GB/s. 이건 RTX PRO 6000 Blackwell 한 장과 맞먹는 숫자인데, 그 카드는 1만 달러에서 2만 달러 사이에서 시작한다. 500달러와 1만 달러. 용량과 대역폭만 놓고 보면 오히려 저렴한 쪽이 앞선다.

연산량은 적은데, 그게 안 문제인 이유

물론 반론이 바로 나온다. 연산이 너무 느리지 않나. M10 여섯 장을 다 더해도 fp32 기준 40 TFLOPS 정도라, 최신 카드 한 장에 크게 뒤진다. 작성자도 이건 부정하지 않는다. 대신 이런 경험칙을 내놓는다. LLM 추론에서는 대부분 메모리 대역폭이 먼저 막힌다는 것.

추론 decode 단계는 토큰 하나를 찍을 때마다 모델 가중치를 메모리에서 싹 읽어온다. 연산 유닛이 놀고 있는 시간이 대부분이라는 얘기다. 그렇다면 용량을 크게, 대역폭을 넓게 만드는 쪽이 이득이고, fp16 연산 성능은 상대적으로 덜 중요해진다. FP8 양자화로 모델을 192GB 안에 눌러담았더니 실제로 52.5 t/s가 나왔다. 채팅용으로 쓰기에 전혀 어색하지 않은 속도다.

장비 구성을 보면 또 재미있다

본체 구성도 수상할 정도로 소박하다. ASRock B250M Pro4에 i5-6400, RAM 32GB. 메인 GPU로는 집에 굴러다니던 RTX 3070 Ti를 쓰고, M10 여섯 장은 PEX8748 PCIe 스위치를 타고 Gen3 x4로 붙는다. 전원은 650W와 165W 두 개로 나눠 처리했다. 구형 메인보드에 구형 카드를 도배한, 어떻게 보면 전형적인 취미 조합인데 GitHub에 회로도와 설정까지 공개해뒀다. 프로젝트 이름은 m10dis.

댓글 반응도 읽을 만하다. 제일 위 댓글은 이렇다. “실용적이든 아니든, 나는 이걸 사랑한다.” 51명이 공감했다. 계산해보면 안다. 이 시스템은 대부분의 작업에서 최신 카드 한 장에 밀린다. 전력 효율도 나쁘고, 맥스웰 세대라 최신 프레임워크 지원도 점점 어려워질 거다. 그런데도 사람들이 박수를 친다. 폐기 직전의 데이터센터 장비를 손보다시피 해서 큰 모델을 돌려냈다는 것 자체에 감탄하는 거겠지.

왜 주목할 만한가

첫째, VRAM 경제학이 실제로 통하는지 보여준 사례다. 긴 컨텍스트, 큰 모델을 로컬에서 다루려면 결국 용량 싸움인데, 소비자용 카드로는 한계가 뚜렷하다. 중고·폐기 데이터센터 장비가 그 한계를 뚫는 또 다른 입구가 될 수 있다는 걸 숫자로 증명한 셈이다.

둘째, 병목이 어디냐는 질문을 다시 던진다. 마케팅 숫자는 TFLOPS를 내세우지만, 추론 워크로드에서 진짜 걸림돌은 대역폭과 용량인 경우가 많다. 카드를 고를 때 뭘 봐야 하는지에 대한 기준을 한 번 더 생각하게 만든다.

셋째, 커뮤니티의 태도. 최적해만 좇는 분위기 속에서 “정확히는 비효율적인데 멋지다”에 공감이 몰리는 건, 자작 문화가 아직 살아 있다는 신호다. 실용과 재미가 충돌할 때 재미 쪽에 표를 주는 사람들이 은근히 많다.

정리하면

이 장비가 다음 달에 추론 하드웨어의 표준이 될 리는 없다. 맥스웰 지원은 줄어들고, 이런 카드 수급도 지역마다 운이 갈린다. 다만 방향은 분명하다. 최신 카드 한 장을 사는 돈이 없어도, 머리를 조금 굴리고 손을 좀 쓰면 큰 모델을 집에서 돌릴 수 있다. 2016년에 만들어진 카드 여섯 장이 초당 52토큰을 뱉는 걸 보고 있으면, 하드웨어 진입장벽이라는 말이 생각만큼 단단하지 않다는 생각이 든다. 다음엔 창고에서 망가진 워크스테이션 카드가 풀리는 걸 지켜봐야겠다.