파라미터 4B 모델이 20B를 이겼다 — 증류(distillation)가 로컬 LLM의 게임 체인저가 된 이유
파라미터 4B짜리 꼬꼬마 모델이 5배나 덩치 큰 20B 모델 뚝배기를 깼다. 처음엔 ‘또 체리피킹 벤치마크겠지’ 하고 넘기려 했는데, RTX 4050 노트북에서 직접 돌린 실측 데이터를 뜯어보고는 턱이 떡 벌어졌다.
r/localllm에서 진행된 소형 LLM 추론 벤치마크 결과, 진짜 이변이 일어났다. 파라미터 단 4B짜리 Qwen3.5-4B-Distilled가 13/15를 기록하며, 20B짜리 거물 GPT-OSS-20B(12/15)를 역전해 버린 것. (체급이 깡패라던 LLM 바닥에서 이게 말이 되나 싶다.)
이 결과는 증류(distillation) 기반 소형 모델이 실용적 추론 능력에서 중대형 모델을 앞지를 수 있다는 구체적 증거다. 로컬 LLM 사용자에게 이것이 무엇을 의미하는지 파헤쳐보자.
벤치마크 구성: 작지만 치명적인 15문제
테스트 환경은 일반적인 게이밍 노트북 수준인 RTX 4050(8GB VRAM). 12개 모델은 모두 이 환경에서 구동 가능한 크기로 선정됐다. 문제 구성은 다음과 같다:
- 논리 추론 5문제: 다단계 논증, 조건부 추론, 모순 탐지
- 코딩 5문제: 알고리즘 구현, 디버깅, 엣지 케이스 처리
- 수학 5문제: 기호 계산, 단계별 증명, 수치 추정
특히 주목할 점은 문제들이 “정답을 아느냐”가 아니라 “과정을 올바르게 전개하느냐”를 측정한다는 것. 단순 지식 검색이 아닌 실제 추론 사슬(chain-of-thought)의 품질을 평가하는 구조다.
최종 순위와 핵심 결과
상위 결과를 요약하면:
| 순위 | 모델 | 파라미터 | 점수 |
|---|---|---|---|
| 1 | Qwen3.6-35B-A3B (MoE) | 35B(A3B) | 14/15 |
| 1 | Qwen3.5-9B-Claude-Opus-4.7 | 9B | 14/15 |
| 3 | Qwen3.5-4B-Distilled | 4B | 13/15 |
| 4 | GPT-OSS-20B | 20B | 12/15 |
| 5 | Qwen3.5-7B-Instruct | 7B | 11/15 |
몇 가지 패턴이 즉시 눈에 띈다:
첫째, Qwen 시리즈의 압도적 우세. 상위 5개 중 4개가 Qwen 계열이다. Alibaba의 데이터 파이프라인과 학습 전략이 소형 모델 성능에 결정적 영향을 미치고 있음을 보여준다.
둘째, MoE의 파라미터 효율성. Qwen3.6-35B-A3B는 명목상 35B 파라미터지만 실제 활성 파라미터는 3B에 불과하다. 즉, 3B 수준의 연산량으로 35B급 성능을 내는 셈. 속도와 메모리 효율에서 dense 모델을 압도한다.
셋째, 증류의 마법. Claude Opus 4.7 출력으로 파인튜닝된 9B 모델이 공동 1위. 그리고 증류된 4B 모델이 20B를 이겼다. 이것이 이번 벤치마크의 가장 중요한 시사점이다.
증류(Distillation)가 가져온 패러다임 전환
증류는 대형 “교사 모델”의 출력을 소형 “학생 모델”이 학습하는 기법이다. 단순히 지식을 복사하는 것이 아니라, 교사 모델의 추론 패턴과 문제 접근 방식을 모방하는 것이 핵심이다.
전통적 학습: 방대한 텍스트 → 모델이 스스로 패턴 발견
증류 학습: 교사 모델의 추론 과정 → 학생 모델이 직접 모방
Qwen3.5-9B-Claude-Opus-4.7의 이름이 말해주듯, 이 모델은 Claude Opus 4.7의 출력으로 훈련되었다. 9B 파라미터로 수백B급 모델의 추론 스타일을 흡수한 것이다. 그리고 이 추론 패턴은 더 작은 4B 모델로도 전이될 수 있음을 Qwen3.5-4B-Distilled가 증명했다.
왜 이것이 중요한가? 비용과 속도 때문이다. 4B 모델은 스마트폰에서도 구동 가능하다. 추론 속도는 20B 모델의 5배 이상 빠르다. 메모리 사용량은 1/5 수준. 클라우드 API 비용은 비교 자체가 안 된다. 실시간 애플리케이션, 엣지 디바이스, 개인 로컬 환경 — 4B 모델이 실용적 선택지가 되는 순간, AI 활용의 지형이 완전히 달라진다.
커뮤니티의 반응과 합리적 비판
물론 이 결과를 맹신해서는 안 된다. 커뮤니티에서도 날카로운 비판이 등장했다.
가장 설득력 있는 지적은 “30B급 모델이 하나뿐이라 비교가 공평하지 않다”는 것. GPT-OSS-20B가 유일한 중형 모델이며, 다른 20~30B급 dense 모델(Gemma 4 26B, Llama 4 Scout 등)이 포함되지 않았다는 한계가 있다. Qwen의 압도적 우세도 “참여 모델 편향”일 수 있다.
또한 15문제라는 표본 크기는 통계적 유의성을 담보하기 어렵다. 특정 유형의 문제에서 4B 모델이 우연히 강했을 가능성을 배제할 수 없다. 논리/코딩/수학 각각 5문제씩이라는 구성도 각 영역의 심층적 능력을 측정하기에는 부족하다.
그럼에도 불구하고, 증류된 4B 모델이 20B를 앞선다는 결과 자체는 방향성을 시사한다. 파라미터 수가 곧 성능이라는 공식이 깨지고 있으며, 어떻게 학습했느냐가 얼마나 크냐보다 중요해지는 추세다.
로컬 LLM 사용자를 위한 실전 가이드
이 벤치마크에서 얻을 수 있는 실용적 권장사항:
- RTX 4050~4060 수준의 노트북: Qwen3.5-4B-Distilled 또는 Qwen3.5-7B-Instruct가 최적. 4B는 빠르고 가볍게, 7B는 약간 더 정확하게.
- RTX 4070 이상: Qwen3.5-9B-Claude-Opus-4.7을 고려할 만하다. 증류 효과로 인해 추론 품질이 원본 9B 대비 상당히 향상됐다.
- VRAM 12GB+: Qwen3.6-35B-A3B(MoE)가 최고의 효율. 활성 파라미터 3B 수준으로 속도도 빠르면서 35B급 성능.
- 증류 모델을 우선적으로 탐색: 같은 파라미터 대역이라면 증류 버전이 일반 Instruct 버전보다 추론에서 강한 경향이 뚜렷하다.
정리: 작은 모델의 큰 반격
이 벤치마크가 보여주는 핵심 메시지는 단순하다. 모델의 크기가 곧 품질이던 시대가 끝났다. 증류 기술의 발전으로 4B 파라미터 모델이 20B를 이기는 세상이 왔다. Qwen 시리즈가 선도하는 이 흐름은 로컬 LLM 사용자에게 즉각적 혜택으로 돌아온다 — 더 적은 하드웨어로 더 나은 추론을.
물론 15문제 벤치마크의 한계는 분명하다. 더 많은 모델, 더 많은 문제, 더 다양한 도메인에서의 검증이 필요하다. 하지만 방향성은 명확하다. 증류된 소형 모델은 이제 “차선책”이 아니라 합리적 최선의 선택이 되고 있다.
다음번 벤치마크에서는 Gemma 4 26B A4B나 Llama 4 Scout 같은 중대형 모델이 포함된다면, 증류 소형 모델의 역전 드라마가 재연될지 더 명확해질 것이다. 어느 쪽이든, 4B 모델이 20B를 이겼다는 사실 하나로도 2026년 로컬 LLM 생태계가 얼마나 빠르게 진화하고 있는지 실감할 수 있다.
참고: Reddit r/LocalLLM의 사용자 벤치마크 데이터를 바탕으로 정리했다. 원본 데이터는 r/localllm 참고.