소비자 GPU에서 120B 모델을 23 t/s로 — gpt-oss-120B 실험
120B를 방구석 그래픽카드로
120B짜리 거대 모델을 방구석 그래픽카드로 초당 23토큰 속도로 돌린다? 불과 얼마 전만 해도 헛소리 취급받던 일이다.
1,200억 개 파라미터(120B) 모델은 데이터센터에서 A100 몇 장 묶어서 돌려야 할 체급이다. 그런데 r/LocalLLM에 한 유저가 RTX 4080 Super 딱 한 장으로 gpt-oss-120B를 무려 23 tok/s 속도로 뽑아냈다는 인증글을 올렸다. 눈을 비비고 다시 봐도 놀라운 숫자다.
먼저, 120B가 얼마나 큰 건지
120B는 FP16 원본 기준으로 모델 가중치 용량만 약 240GB에 달한다. 반면 RTX 4080 Super의 VRAM은 고작 16GB다. 15배나 모자란다.
이 불가능한 간극을 메운 두 마법이 바로 양자화(Quantization)와 CPU 오프로딩(CPU Offloading)이다.
양자화로 FP16 가중치를 Q4 수준으로 압축하면 약 60GB까지 덩치가 줄어든다. 하지만 16GB VRAM에는 여전히 안 들어간다. 남은 용량은 시스템 RAM(DDR5)이 감당해야 한다. 여기서 CPU 오프로딩이 등장한다. 모델의 핵심 레이어는 GPU에 올리고, 나머지는 시스템 RAM에 둔 채 필요할 때마다 PCIe 버스를 통해 GPU로 퍼올려 연산하는 방식이다.
이 사용자의 설정
u/arkie87이라는 레딧 유저가 공유한 하드웨어 세팅은 이렇다.
- GPU: RTX 4080 Super (16GB VRAM)
- 시스템 RAM: 64GB DDR5
- 모델: gpt-oss-120B (양자화 적용)
- 속도: 23 tokens/sec
23 tok/s라는 숫자가 왜 대단하냐면, 보통 CPU 오프로딩을 걸면 PCIe 대역폭 병목 때문에 속도가 2~3 tok/s로 떡락하며 눈물이 앞을 가리기 때문이다. 그런데 23 tok/s라니, 단순히 돌아가는 수준을 넘어 실시간 대화와 요약이 쾌적하게 가능한 실전 속도다.
비결은 디테일한 튜닝에 있었다. GPU에 올릴 최적의 레이어 수를 찾고, KV 캐시 양자화를 먹이고, 컨텍스트 길이를 적정선에서 방어했다. 여기에 64GB DDR5의 넓은 메모리 대역폭이 든든하게 받쳐준 결과다.
“벤치마크 숫자 말고 진짜 쓸 만한가?”
하지만 숫자에 취하기 전에 냉정하게 짚어야 할 지점이 있다.
Q4 수준의 양자화는 일상적인 대화나 긴 문서 요약에서는 품질 저하가 거의 안 느껴진다. 하지만 코딩은 다르다. 괄호 하나, 변수명 하나에 프로그램이 뻗어버리는 정밀 작업일수록 양자화 손실에 치명적이다.
실제로 27B 모델을 Q4와 Q8로 비교해 본 유저들은 “코딩에선 Q8이 압도적으로 신뢰할 만하다”고 증언한다. 즉, 120B Q4 오프로딩 세팅은 방대한 지식 기반의 질의응답이나 요약에는 훌륭하지만, 빡센 코딩 에이전트 용도로는 검증이 더 필요하다는 소리다. 어디서 타협할지는 각자의 몫이다.
왜 주목해야 할까
첫째는 압도적인 데이터 프라이버시다. 내 민감한 사내 코드나 개인 메모를 외부 클라우드로 1바이트도 유출하지 않고 안전하게 처리할 수 있다.
둘째는 커뮤니티 집단지성의 힘이다. 제조사 매뉴얼에는 안 나오는 실전 최적화 팁들이 레딧 유저들의 삽질을 통해 실시간으로 공유되고 있다.
정리
16GB 그래픽카드로 120B 모델을 실사용 속도로 굴릴 수 있는 시대가 열렸다. 불과 1년 전만 해도 7B짜리 꼬맹이 모델 돌리면서 버벅대던 하드웨어에서 일어난 혁신이다.
물론 64GB 고속 RAM이 필요하니 진입 장벽이 아예 없진 않지만, “불가능”이 “세팅만 맞추면 가능”으로 넘어왔다는 사실 자체가 가슴을 뛰게 만든다.
원본 토론: r/LocalLLM - 23 t/s with gpt-oss-120B using RTX4080 Super