격차는 생각보다 작다 — RTX 4090 한 장의 27B, 실전 코딩 테스트에서 프런티어와 맞서다

로컬 LLM은 아직 멀었다고 다들 혀를 찰 때, 레딧에 제대로 뒤통수를 때리는 글이 하나 올라왔다.

벤치마크 숫자만 보면 “로컬은 그냥 장난감이고 코딩은 무조건 클라우드 프런티어 모델이지”라고 단정 짓는 게 일반적이다. 그런데 r/LocalLLM에 자정 무렵 올라온 글 하나가 그 뻔한 통념을 뇌피셜이 아니라 정밀한 실측 데이터로 깨부쉈다. RTX 4090 한 장에 얹은 4비트 27B 모델이 실전 코딩 과제에서 최상위 프런티어 클라우드 모델들과 거의 대등한 결과를 냈다는 소식이다.

작성자인 u/Distinct-Pie2389는 악명 높은 DeepSWE 벤치마크 과제 하나를 로컬 환경에서 통과시키고, 공식 벤치마크가 공개한 프런티어 모델들의 기록을 직접 긁어와 나란히 비교했다. 그동안 “로컬로도 쓸 만하더라~” 식의 카더라 통신은 넘쳐났지만, 이렇게 동일한 과제에서 실제 측정값으로 맞불을 놓은 사례는 정말 드물었다.

무엇을 어떻게 돌렸나

하드웨어 구성은 상대적으로 소박하다(소비자용 플래그십인 RTX 4090 24GB가 소박하다는 표현은 좀 어폐가 있지만, 수천억짜리 데이터센터 클러스터에 비하면 확실히 소박하다). 모델은 Qwen3.8-27B의 unsloth 동적 양자화 중 IQ4_XS(GGUF 14.25GB)를 골랐고, 컨텍스트 길이는 무려 196K까지 넉넉하게 잡았다. 스펙큘러티브 샘플링은 별도의 가벼운 드래프트 모델 대신 모델 자체에 내장된 MTP 헤드를 활용했다. 엔진은 llama.cpp b11115와 llama-swap v257 조합이다.

llama-server \
  -m Qwen3.8-27B-UD-IQ4_XS.gguf \
  -ngl 99 --jinja \
  -ub 512 --ctx-size 196608 \
  --spec-type draft-mtp --spec-draft-n-max 4 \
  --reasoning on --reasoning-format deepseek --reasoning-budget 4096 \
  --temp 1.0 --top-p 0.95 --top-k 20 --min-p 0 \
  -fa on -ctk q8_0 -ctv q8_0 --parallel 1

실제 측정된 수치는 놀랍다. 디코드 속도는 초당 115토큰(t/s), 피크 VRAM 점유율은 22.9GB로 24GB 카드 안에 칼같이 안착했다. 실전 코드 리뷰 과제는 12개 중 12개 전부 통과(12/12). 그리고 DeepSWE 과제 하나에서 히든 테스트 케이스 43개 중 40개를 통과했고, 기존 리그레션 테스트 109개는 전부 깨끗하게 지켜냈다. 부분 점수로 환산하면 무려 0.980이다.

격차는 어느 정도였나

같은 과제에 대한 프런티어 모델들의 공개 기록을 옆에 나란히 놓으면 그림이 아주 흥미로워진다. 이 과제의 전체 공개 트라이얼 평균 부분 점수는 96.6%였다. 최상위 프런티어 모델 서브셋만 추려보면 부분 점수 99.8%지만, 완전 통과율은 85.3%에 머문다. 즉, 수천억짜리 프런티어 모델조차 일곱 번 중 한 번은 이 과제를 온전히 통과하지 못하고 절뚝거린다는 뜻이다. 반면 로컬 4비트 27B는 0.980을 찍었고, 극단적인 엣지 케이스 3개를 놓쳐 이진 판정상 0점을 받았을 뿐이다.

물론 벤치마크 전체 113개 과제에서 최상위 클라우드 모델들의 통과율은 70~74% 안팎을 기록한다. 단 하나의 과제 결과만 보고 “로컬이 프런티어를 이겼다”고 성급하게 일반화할 수는 없다. 하지만 적어도 이 수준의 실전 과제에서 4비트 27B와 최상위 클라우드 모델 사이의 실질적인 격차는 우리가 막연히 생각했던 것보다 훨씬 좁혀졌다는 사실을 보여준다.

이 글에서 작성자의 정직한 태도도 무척 인상적이었다. 본문에 직접 취소선을 긋고 수정 노트를 달아 “96.6%는 프런티어 평균이 아니라 전체 트라이얼 평균이었다”고 즉시 바로잡았고, 원본 데이터 링크를 투명하게 공개했다. 자기에게 불리할 수 있는 디테일까지 가감 없이 밝히는 모습에서 벤치마크 특유의 높은 신뢰가 묻어난다.

하루에 세 개나 터진 27B의 날

재밌는 건 이 글이 혼자가 아니라는 점이다. 같은 날 r/LocalLLM에는 단일 GPU 환경에서 27B를 극한까지 쥐어짠 실험 글이 3개나 연달아 올라왔다.

그중 하나는 클라우드 프런티어를 정반대로 영리하게 써먹은 사례다. Claude Opus 5.5를 llama.cpp 추론 커널 최적화에 동원해서, RTX 5090에서 Q6_K 27B 모델의 추론 속도를 기본 61 t/s에서 최고 143 t/s까지 뻥튀기시켰다. 품질 손실 0%를 원칙으로 잡고 MTP 헤드 2토큰 드래프팅, KV 캐시 최적화, FP32 누산 텐서코어 어텐션 같은 묵직한 기법들을 차례로 때려 박았다. 수많은 실패 시도까지 전부 공개한 것도 개발자로서 박수를 쳐주고 싶은 부분이다.

또 다른 하나는 NVFP4 QAT 양자화 기법으로 5090 한 장에서 JSON 파싱 초당 484토큰이라는 정신 나간 속도를 찍은 사례였다. 비록 “27B 체급에 NVFP4는 모델 지능이 너무 멍청해진다”는 반박이 달렸고 작성자도 Q6_K가 훨씬 똑똑하다고 인정하긴 했지만, 속도와 지능 사이의 트레이드오프를 탐색하는 시도 자체가 무척 흥미롭다.

왜 여기에 주목해야 할까

이 일련의 흐름이 던지는 메시지는 명확하다. 지금까지 이어져 온 ‘로컬 vs 프런티어’라는 흑백논리 자체가 깨지고 있다는 점이다. 질문의 본질이 “로컬이 클라우드를 완전히 대체할 수 있냐”에서 “내 일상 업무에 27B 로컬로 충분히 비벼볼 만한가?”로 넘어가고 있다.

실전 코딩 태스크를 기준으로 잡았을 때, 24GB 소비자용 GPU 한 장으로도 프런티어 턱밑까지 쫓아가는 결과물이 나온다. 매달 나가는 API 토큰 청구서, 회사의 민감한 사내 코드 유출 걱정, 오프라인 작업의 자유로움까지 저울에 올려놓고 계산기를 두드려보면 체감 격차는 더욱 좁혀진다.

프런티어를 대하는 방식도 완전히 달라졌다. 클라우드 모델한테 모든 코딩을 무지성으로 맡기는 대신, 로컬 추론 스택의 병목을 뚫는 고난도 커널 튜닝 같은 어려운 작업에만 잠깐 프런티어의 지능을 빌려 쓰는 하이브리드 워크플로우가 자리 잡고 있다. 둘은 적이 아니라 서로를 보완하는 러닝메이트다.

커뮤니티의 검증 문화도 훨씬 성숙해졌다. “이번 업데이트로 체감상 너프됐네 마네” 하는 감정 섞인 푸념 대신, 구체적인 측정값과 재현 가능한 로그로 대화하는 분위기다. 이런 실측 데이터가 쌓일수록 막연한 편견은 설 자리를 잃는다.

정리

과제 하나의 결과를 두고 로컬의 완승이라고 호들갑을 떨 필요는 없다. 작성자 본인도 분명히 선을 그었다. 그럼에도 이 글이 남긴 묵직한 울림은 분명하다. 클라우드와 로컬 사이의 실제 격차는 마케팅 문구가 떠드는 것보다 훨씬 작고, 그 틈을 확인하는 유일한 방법은 내 컴퓨터에서 직접 돌려보는 것뿐이다.

다음에 누군가 “로컬 모델로 실무 코딩이 되냐?”고 묻는다면, “아직 멀었다”고 손사래 치는 대신 “무슨 작업을 시키려는데?”라고 되물어야 한다. 오늘 확인한 데이터에 따르면, 적어도 일상적인 버그 픽스와 기능 구현이라면 24GB GPU 한 장으로도 충분히 싸워볼 만하다.