월 5만 달러 Claude 청구서 받고 로컬 LLM으로 갈아탄 실화
어느 날 아침, CEO가 사색이 된 얼굴로 내 책상에 영수증을 탁 내려놓았다. “월 5만 달러. Claude 토큰 값만.”
직원 100명이 Claude Code 끼고 신나게 코딩했더니, 한 달 토큰 요금만 자그마치 5만 달러(약 6,800만 원)가 찍혔다. 회사가 거덜 나기 직전에야 터진 로컬 LLM 전면 전환기다.
“이러다 개발팀 토큰 값 대느라 회사 망하겠다”는 비명과 함께, 우리는 30일간의 처절한 로컬 AI 탈출 작전에 돌입했다.
안전 가드레일이 유저를 쫓아내는 역설
비용 문제만 있었던 것도 아니다. B2B 보안 분석 업무를 하던 중, Opus 4.8이 합법적인 클린룸 디스어셈블리 코드 분석을 “위험한 작업”이라며 전면 거부하는 사태가 터졌다.
정당한 보안 진단 업무인데 “위험 소프트웨어 생성에 관여할 수 없다”라며 훈계질을 늘어놓는 모델 앞에서 개발자들은 두 손 두 발 다 들었다. 비싼 돈 내면서 훈계받고, 정작 일은 멈춰버리는 기막힌 역설.
이 두 가지 사건이 터진 날, 우리는 미련 없이 자체 로컬 인프라 구축으로 방향을 틀었다.
30일간의 하이브리드 전환 전략
우리가 취한 전략은 무식한 ‘전면 교체’가 아니었다. 현실적인 점진적 하이브리드 분산이었다.
- 업무 스코프 분리: 사내 AI 호출의 70%는 단순 요약, 보일러플레이트 코드 작성, 정규식 변환 같은 기초 작업이었다. 이 70%를 전면 로컬 오픈소스 모델(Qwen 3.6, GLM)로 돌렸다.
- 사내 GPU 인프라 구축: 감가상각이 가능한 로컬 워크스테이션을 사내 네트워크에 물려 API 서버로 서빙했다.
- 최상위 작업만 클라우드 위임: 전체 아키텍처 재설계나 고난도 버그 추적 등 진짜 지능이 필요한 30%만 클라우드 플래그십 API로 쐈다.
결과는 드라마틱했다. 한 달 만에 5만 달러 찍히던 청구서가 1만 달러 아래로 곤두박질쳤다. 그러면서도 개발팀의 체감 생산성은 전혀 깎이지 않았다.
정리
“클라우드 모델을 100% 완벽히 대체하는 로컬 모델”을 찾으려 하면 영원히 전환 못 한다.
핵심은 완벽함이 아니라 “충분함”이다. 단순 노가다는 로컬 머신에 던지고, 진짜 비싼 두뇌만 클라우드에서 빌려 쓰는 하이브리드 지혜. 월 5만 달러짜리 고지서를 피하고 싶다면 오늘 당장 사내 트래픽 분석부터 시작해라.