머지된 PR은 노트북에서 나왔다 — Qwen3.8-Flash-Next와 Opus 5.5의 정면 대결
로컬 모델이 클라우드 끝판왕 Opus를 상대로 PR 배틀에서 이겼다는 썰을 봤다.
로컬 AI 모델 이야기만 나오면 대개 추상적인 벤치마크 점수 몇 점 올랐네 마네 하는 스펙 줄 세우기로 끝나기 십상이다. 그런데 어젯밤 r/LocalLLM에 올라온 글은 결이 완전히 달랐다. 꽤 규모 있는 오픈소스 Rust 프로젝트에 똑같은 신규 기능 개발을 두 모델에게 각각 독립적으로 맡기고, 생성된 두 개의 Pull Request(PR)를 나란히 올려 교차 코드 리뷰를 돌렸다. 한쪽은 클라우드 최고봉인 Claude Opus 5.5, 다른 쪽은 방구석 노트북에서 돌아가는 오픈소스 Qwen3.8-Flash-Next.
결과부터 까고 말하면, 최종적으로 메인 브랜치에 머지(Merge)된 PR은 노트북 쪽이었다(실화냐?).
어떤 실험인가
작성자인 u/deepu105는 최근 몇 주 동안 실전 코딩 업무의 대부분을 로컬 모델로만 처리해 왔다고 한다. 그러다 문득 “과연 내 노트북 모델이 현존 최강이라는 Opus 5.5와 맞짱 뜨면 어디까지 비빌 수 있을까?” 궁금해져서 정면 승부를 붙였다.
과제는 본인이 운영하는 프로젝트 LlamaStash에 백그라운드 데몬을 재시작하는 daemon restart CLI 명령어를 추가하는 것이었다. 기존의 start/stop 로직을 깔끔하게 재활용해야 하는 실전 과제다. 프롬프트는 편향을 막기 위해 두 모델에게 글자 하나 안 바꾸고 똑같이 모호하게 던졌다. AI에게 힌트를 퍼주는 순간 공정한 실험이 아니니까.
대결 환경은 이렇다:
- Claude Opus 5.5: Claude Code 환경, medium effort
- Qwen3.8-Flash-Next: ASUS ROG Flow Z13(Strix Halo APU, 128GB LPDDR5X), xhigh effort
Opus 쪽이 medium effort가 된 건 세팅 실수였다고 한다. xhigh로 걸어뒀는데 최신 모델을 고르는 과정에서 설정이 기본값으로 튀었고, 작업이 다 끝난 뒤에야 알았다고. 다만 작성자는 오히려 medium이 더 현실적인 실무 비교였을 거라고 덧붙였다.
숫자로 비교해보는 현실
| 항목 | Claude Opus 5.5 (PR #88) | Flash-Next (PR #89) |
|---|---|---|
| 총 소요 시간 | 약 18분 | 약 130분 |
| 토큰 소모 (입력 / 출력) | 7.83M / 41.5K | 20.61M / 101K |
| 새로 추가된 테스트 코드 | 단 1개 | 무려 4개 (E2E 테스트 2개 포함) |
| 소모 비용 | $7.53 (약 1만 원) | $0 (전기세 약 0.15kWh, 몇십 원) |
속도와 효율성 면에서는 프런티어 Opus가 압도적이었다. 첫 코드 초안을 뽑는 데 Opus는 9분 걸린 반면, 노트북은 38분이 걸렸다. 입력 토큰도 클라우드가 훨씬 적게 먹었고 시간도 덜 썼다.
하지만 비용 칸을 보는 순간 눈을 비비게 된다. Opus는 한 번 일 시키는 데 7.53달러가 청구됐다. 7달러면 메가커피 아메리카노가 몇 잔인데(아재 모드 발동). 반면 노트북은 130분 동안 풀로 돌아가며 쓴 전기세가 고작 0.15kWh, 한국 돈으로 따지면 몇십 원 수준이다. 비용의 차원이 다르다.
그런데 이 실험의 진짜 하이라이트는 시간이나 돈이 아니라 ‘코드 품질 판정’이었다.
그래서 품질 승자는 누구였을까?
작성자는 편견을 배제하기 위해 완전히 새로운 세션에서 세 개의 심사위원 AI(GPT-5.6, Opus 5.5, Flash-Next)를 소집해 블라인드로 두 PR을 교차 평가하게 했다.
결과가 아주 가관이었다. GPT와 Flash-Next는 만장일치로 노트북이 짠 #89 PR을 골랐다. 반면 Opus는 뻔뻔하게(?) 자기가 작성한 #88 PR이 더 훌륭하다고 자화자찬했다(자의식 과잉에 실소가 나왔다). 작성자 본인이 두 코드를 직접 까보고 내린 결론도 같았다. 노트북이 짠 코드가 테스트 케이스가 훨씬 탄탄했고, 프로세스 종료 타이밍의 까다로운 엣지 케이스 처리가 한 수 위였다.
결국 작성자는 #88(Opus)에서 사소한 리뷰 피드백 한두 가지만 체리픽해 온 뒤, #89(노트북)를 메인 브랜치에 최종 머지했다. 테스트 코드를 스스로 4개나 짜고 그중 2개를 end-to-end 통합 테스트로 검증해 낸 쪽은 클라우드가 아니라 책상 위 노트북이었다. 레딧 댓글에 “공짜 전기로 돌면서 혼자 E2E 테스트까지 짜는 로컬 모델이라니 진짜 미쳤다”는 감탄이 쏟아진 이유다.
물론 세부 사정을 감안해야 한다. Opus는 2~10배 빠르며 계획 수립과 복잡한 아키텍처 설계에는 여전히 최고의 두뇌다. 작성자 역시 “기능 기획과 굵직한 설계 리뷰는 클라우드 Opus에게 맡기고, 실제 묵직한 코딩 노동과 테스트 작성은 노트북 로컬 모델로 돌리는 분업이 가장 이상적”이라고 정리했다.
왜 여기에 주목해야 할까
첫째, 박제된 벤치마크가 아니라 실제 프로덕션 코드베이스에서 벌어진 진검승부였고, 블라인드 교차 리뷰를 거쳐 최종 머지까지 도달했다는 점이다. “로컬로도 일할 만하다”는 막연한 희망가를 넘어 실제 머지된 커밋으로 증명했다.
둘째, ‘재시도 비용 0원’의 위력이다. 한 번 돌릴 때 7달러씩 나가는 클라우드 모델은 실패했을 때 지갑이 쓰리지만, 로컬 모델은 실패하면 열 번이든 스무 번이든 부담 없이 다시 돌릴 수 있다. 실패 비용이 0원에 수렴하면 개발자는 훨씬 더 과감하고 다양한 시도를 던질 수 있다.
셋째, 프런티어 모델들의 토큰 단가 인상 압박과 로컬 오픈소스 모델의 품질 성장이 정확히 교차하고 있다는 점이다. 1년 전만 해도 “노트북에서 돌아가는 모델이 Opus 뺨을 때린다”는 말은 망상 취급을 받았겠지만, 이제는 눈앞의 현실이 됐다.
정리
며칠 전 27B 모델이 4090에서 프런티어를 턱밑까지 추격했다는 소식을 정리할 때만 해도 격차가 좁혀졌다는 정도였는데, 이번엔 아예 머지된 PR이 로컬에서 튀어나왔다.
“노트북 하나로 현존 최강의 클라우드 모델에 도전할 수 있다는 게 아직도 꿈만 같다”는 작성자의 말이 깊은 여운을 남긴다. 무조건 빠른 모델이 승리하던 단순한 시대는 끝났다. 앞으로 코딩 에이전트를 고르는 기준은 “어느 모델이 더 똑똑하냐”를 넘어 “내 지갑과 환경에서 몇 번이나 마음 편히 돌릴 수 있느냐”로 이동하고 있다.
- 전체 실험 로그: deepu.tech 블로그 원문