오픈 모델은 쏟아지는데, 로컬에서 돌릴 수 있는 사람은 없다

불과 1년 전만 해도 “오픈소스 LLM은 공짜니까 깃허브에서 가중치 받아서 집 컴퓨터로 돌리세요!”라며 신나게 떠들고 다녔다. 그런데 요즘 쏟아지는 오픈 모델들을 보고 있으면 한숨부터 푹푹 나온다(내 맥미니는 이미 기절했다). 모델 지능이 실무 투입 가능할 정도로 미친 듯이 떡상한 건 너무 좋은데, 덩치까지 우주로 날아가 버려서 이제 일반 개발자의 하드웨어로는 쳐다도 못 볼 괴물이 되어버렸다.

r/LocalLLM에 바로 이 처절한 현실을 정면으로 찌른 분석 글이 올라왔다. GPU 클라우드 업체에서 일하는 u/Fit-Switch9862가 쓴 “The best open coding models stopped fitting on consumer hardware“라는 글이다. 한마디로 요약하면, “최고급 오픈 코딩 모델들은 이제 일반 소비자용 컴퓨터에 들어갈 사이즈가 아니다”라는 사망 선고다.

모델은 똑똑해졌는데, 덩치가 미쳤다

최근 오픈 모델들의 체급 인플레이션은 진짜 살벌하다.

대표적인 게 지난달 나온 Kimi K3다. 무려 2.8조 개(2.8T) 파라미터에, 허깅페이스에 올라온 순수 가중치 파일 크기만 1.56TB에 달한다. 이건 실행 이전에 다운로드부터가 대형 인프라 프로젝트다.

예전엔 7B, 13B 모델 띄워놓고 4비트 양자화하고 VRAM 아끼며 오밀조밀 최적화하는 낭만이라도 있었다. 하지만 테라바이트(TB) 단위로 넘어가는 순간, 그 어떤 공돌이 튜닝 꼼수도 무력해진다(집 컴퓨터로는 압축 푸는 것도 버겁다).

GLM 5.2도 만만치 않다. 7,440억 파라미터에 384GB. 어떤 괴짜 유저가 i9 CPU에 64GB 램, RTX 5090(24GB)을 박은 최고급 게이밍 노트북에서 리눅스 커널까지 뜯어고쳐 가며 겨우 돌렸단다. 결과는? 첫 토큰 나오는 데 40초, 초당 0.8토큰. 모델과 대화하려면 도 닦는 심정으로 모니터를 노려봐야 한다(이쯤 되면 실사용이 아니라 오기다).

Qwen 3.8이 나왔는데 왜 다들 조용할까

어제(8월 14일), 그 유명한 Qwen 3.8 27B가 허깅페이스에 조용히 풀렸다.

평소 같았으면 r/LocalLLM 게시판은 “Qwen 신작 떴다!”라며 벤치마크 캡처와 설치 후기로 도배가 됐어야 정상이다. 여긴 Qwen 악개들이 모여 사는 본진이니까. 그런데 출시 하루가 꼬박 지나도록 로컬 실사용 후기가 단 한 줄도 안 올라왔다.

보다 못한 한 유저가 “평소 화력 생각하면 개인 리뷰가 최소 6개는 터졌어야 하는데, 왜 다들 꿀 먹은 벙어리냐?”며 당황스러워했다.

이유는 뻔하다. 호환성 문제든, 추론 엔진 미지원이든, 혹은 다운로드 걸어뒀다가 하드 용량 보고 조용히 취소했든 간에, ‘돌릴 수 있는 사람’이 급격히 줄어든 거다. 커뮤니티가 그렇게 목놓아 기다리던 모델인데, 정작 손에 쥐어줘도 굴릴 하드웨어가 없다.

“오픈소스”가 더 이상 “로컬”을 뜻하지 않는다

여기서 서글픈 역설이 터져 나온다. 지금까지 우리는 “오픈소스 모델 = 내 컴퓨터에서 무료로 돌리는 것”이라고 철석같이 믿어왔다.

하지만 이제 그 공식이 완벽하게 깨졌다. 가중치(Weights)는 투명하게 공개되지만, 그걸 돌릴 수 있는 컴퓨팅 파워는 빅테크 데이터센터나 부유한 랩실의 독점물이 되어가고 있다. 1.56TB짜리 Kimi K3를 받아서 수백 GB의 램에 올릴 수 있는 일반인이 세상에 몇이나 되겠는가.

물론 96GB 맥 스튜디오나 GPU 10장 꽂은 괴물 워크스테이션으로 돌려보는 용자들도 간혹 있다. 하지만 그건 어디까지나 0.1% 하드웨어 덕후들의 비싼 취미일 뿐, 일반 개발자의 일상적인 코딩 환경과는 백만 광년쯤 떨어져 있다.

GLM 5.2 vs DeepSeek V4 — 극명한 온도 차

이 글에서 다룬 두 오픈 강자의 실전 평가도 꽤나 흥미롭다.

GLM 5.2는 “사람 없이 무인 에이전트로 밤새 돌려도 안심된다”는 극찬을 받는다. 답변이 좀 장황해서 토큰을 많이 먹는 게 흠이지, 헛소리(환각)를 안 치고 코드 퀄리티가 탄탄하단다. Z.ai의 코딩 플랜이 Ollama Cloud나 OpenCode Go와 피 튀기는 가성비 경쟁을 벌이고 있는 이유다.

반면 DeepSeek V4는 약간 거품이 빠지는 모양새다. 자기들이 “오픈소스 코딩 SOTA”라고 대대적으로 마케팅했지만, 공개된 프리뷰를 까보니 생각보다 거칠고 불안정하다는 혹평이 많다. 벤치마크 점수 대부분이 자기네 입맛에 맞춘 프레임워크에서 뽑아낸 거라 신뢰도가 떨어진다는 지적도 나온다.

결국 “오픈소스로 공개됐다”는 사실과 “내 로컬에서 실제로 쓸 만하다”는 현실 사이의 간극이 점점 벌어지고 있다.

우리는 어디로 가고 있는가

결국 판의 중심이 ‘더 거대한 모델을 훈련시키는 것’에서 ‘있는 모델을 얼마나 가볍게 서빙할 것인가’로 급격히 넘어가고 있다.

갈래는 두 개다. Colibri나 Ollama처럼 양자화 기술을 극한으로 깎아서 모델을 억지로 다이어트시키는 방향. 아니면 Z.ai처럼 오픈 모델을 지들이 서버에 올려놓고 저렴한 API나 월정액으로 서빙해 주는 방향이다.

로컬 LLM을 내 컴퓨터에서 직접 굴리는 손맛이야 영원하겠지만, 최첨단 프론티어급 오픈 모델을 내 방 컴퓨터에서 무손실로 굴리는 시대는 서서히 막을 내리고 있다. 1년 전 “공짜니까 그냥 다운받아서 돌려봐!”라고 호기롭게 말하던 그 낭만의 시대가 벌써 그리워진다.

레딧 댓글 중 가장 뼈를 때린 자조적인 농담 하나로 글을 맺는다.

“AI 버블이 화끈하게 터져서 전 세계 데이터센터들이 줄줄이 파산해야, 그때 버려진 GPU 줍줍해서 우리가 감당할 만한 로컬 컴퓨팅 시대가 다시 올지도 모르겠다. 씁쓸하지만.”