12GB VRAM에서 Q4와 Q8 사이의 진실 — 양자화 트레이드오프 실사용 가이드

12GB VRAM의 영원한 숙제

12GB VRAM 붙잡고 씨름해 본 개발자라면 Q4냐 Q8이냐를 두고 영혼의 딜레마를 겪어봤을 거다(내가 그렇다).

로컬 LLM 좀 돌려봤다는 사람들에게 12GB VRAM은 애증의 숫자다. RTX 4070이나 4070 Ti, 3060 등 대다수 서민(?) 개발자들의 현실적인 하드웨어 마지노선이니까. 벤치마크 그래프만 보면 Q4_K_M이 원본 FP16 대비 2~3%밖에 차이 안 난다고 약을 팔지만, 막상 현업 코딩에 물려보면 체감 격차가 꽤 살벌하다.

r/LocalLLM에서 12GB VRAM 유저들이 모여 양자화 수준별 실전 딥다이브 토론을 벌였다. 벤치마크 표에는 절대 안 나오는 꿀팁과 피눈물 나는 인사이트들을 정리해 봤다.

코딩에서 양자화는 생각보다 발각된다

가장 뼈를 때린 후기는 u/Icy-Employee의 증언이었다. Qwen 3.6 27B를 Q4와 Q8 두 환경에서 번갈아 돌려본 사람인데, “코딩 실무에서는 하늘과 땅 차이”라고 단언했다. Q8로 올리고 나서야 비로소 안심하고 코드를 맡길 수 있었고, 24GB VRAM 카드로 기변한 돈이 1도 아깝지 않았다고.

벤치마크 표에 속으면 안 되는 이유가 바로 이거다. HumanEval 같은 사지선다 문제나 단순 함수 작성 테스트에서는 Q4나 FP16이나 정답률이 고작 2~3% 차이로 찍힐 수 있다. 하지만 복잡한 다중 파일 컨텍스트를 읽고 리팩토링할 때, 그 2~3%의 미세한 지능 저하가 괄호 누락, 변수명 꼬임, 무한 루프 같은 치명타로 터진다. 한 번 터지면 작업 흐름이 와장창 깨지니까.

반면 일상 수다나 단순 텍스트 요약은 Q4로도 차고 넘친다. “채팅이나 할 거면 Q4도 분에 넘친다”는 반응이 지배적이다. 작업 도메인에 따라 양자화 민감도가 완전히 극과 극이라는 소리다.

“더 큰 모델 + 낮은 퀀트” 공식이 아직 통하는가

로컬 LLM 판의 오랜 성경 같은 격언이 있다. “낮은 퀀트의 거대 모델이, 높은 퀀트의 꼬맹이 모델을 바른다.” 즉 70B Q4가 32B Q8보다 무조건 낫다는 믿음.

이 공식이 예전엔 진리였는데 최신 모델들에선 살짝 금이 가기 시작했다. Q4_K_M까지는 버텨주는데, VRAM 아끼겠다고 Q3 이하로 무리하게 다이어트를 시키면 최신 아키텍처 모델들은 지능이 박살 난다. 최신 모델일수록 가중치 정밀도에 민감하기 때문이다.

실전 가이드라인은 명확하다. 12GB VRAM에서 정밀 코딩이 목적이라면 7B~14B 체급에 Q6~Q8을 물리는 게 정신건강에 이롭다. 일반적인 대화나 가벼운 요약용이라면 Q4_K_M으로 체급을 키우는 게 훨씬 실용적이다.

KV 캐시와 컨텍스트 길이의 보이지 않는 전쟁

12GB 환경에서 진짜 복병은 모델 크기 자체가 아니라 KV 캐시다. 컨텍스트가 길어질수록 KV 캐시가 VRAM을 야금야금 갉아먹는다.

여기서 전략이 갈린다. 퀀트를 낮춰서 128k 긴 컨텍스트를 우겨넣을 것인가, 아니면 컨텍스트를 32k 수준으로 짤라내고 높은 퀀트를 지킬 것인가.

한 현명한 유저(u/Unnamed-3891)는 후자를 택했다. “굳이 채팅창에 수십만 토큰을 다 쑤셔 넣을 필요가 있냐? 32k~64k면 충분하다. 중간 산출물은 git이나 마크다운 파일로 저장하고 세션을 클린하게 새로 파면 그만이다.” 격하게 공감한다. 인간도 책 한 권을 머릿속에 다 외워두고 일하진 않으니까.

하지만 다중 파일 코드베이스를 통째로 읽혀야 하는 개발자들에겐 긴 컨텍스트가 필수다. 매번 새 창 열고 프로젝트 설명하는 뻘짓도 만만치 않으니까.

KV 캐시 양자화(Q8/Q4 캐시)도 많이 쓰이는데, 써본 사람들은 “공짜 점심은 아니다”라고 입을 모은다. 긴 컨텍스트로 갈수록 RAG 문서의 디테일이 뭉개지는 현상이 목격되기 때문이다.

그래서 정답은

결국 내 용도에 맞춘 최적화가 정답이다.

코딩과 정밀 로직이 핵심이다? 12GB에선 7B~14B 모델에 Q6~Q8을 먹이고 컨텍스트는 32k~64k로 끊어 쓰는 게 국룰이다.

잡담, 문서 요약, 가벼운 RAG가 목적이다? 27B~32B 모델에 Q4_K_M을 물려 넉넉한 두뇌를 쓰는 게 훨씬 쾌적하다.

결국 로컬 LLM 튜닝은 남의 벤치마크 맹신하지 말고, 내 작업 스타일에 맞춰 저울질하는 과정이다. 직접 돌려보며 체감하는 것 말고는 왕도가 없다.