CFO의 위대한 깨달음 — AI 토큰 예산이 해고한 직원 급여보다 높더라

직원들 월급 아끼겠다고 AI 도입했다가, AI 토큰 청구서가 인건비를 뚫어버렸다(이것이 자본주의의 코미디다).

Reddit r/LocalLLM에 올라온 글 하나가 200개가 넘는 추천을 받았다. 내용은 심플하면서도 살벌하다.

“CFO가 계산기를 두드려보더니, 이번 달 AI 토큰 예산이 지난 분기에 해고한 직원들 급여 합계보다 높다는 사실을 깨달았다.”

피식 웃다가도 뒷골이 서늘해진다. 나 역시 지난달 Claude API 청구서를 보면서 손을 덜덜 떨었으니까. (진심으로, 지난달 내 개인 API 비용이 내 위시리스트에 담아둔 AirPods Pro 가격을 넘었다. 나는 개발자인데 왜 Anthropic의 VIP 물주가 되어가는가.)

토큰 청구서의 잔혹한 진실

기업들이 개발자를 자르고 AI 에이전트를 투입할 때 계산했던 장밋빛 엑셀 표는 대략 이랬을 거다.

• 개발자 연봉 1억 원 절감
• AI 구독료 월 몇십만 원으로 대체
• 엄청난 영업이익 개선!

하지만 현실의 에이전트는 그렇게 얌전하지 않다. 에이전트가 자율 루프를 돌면서 저장소 전체를 100만 토큰씩 긁어모으고, 테스트 에러 하나 잡겠다고 수십 번씩 턴을 돌며 API를 난사한다. 1턴에 몇백 원씩 나가던 비용이 에이전트 루프 몇천 번에 수천만 원으로 둔갑한다.

직원은 야근수당이라도 안 받지, 클라우드 API는 새벽에도 1초의 자비 없이 카드 한도를 갉아먹는다.

로컬 LLM이 탈출구로 떠오르는 이유

이 글이 r/LocalLLM에서 폭발적인 지지를 얻은 건 당연하다. “이러니 기업들이 자체 서버에 로컬 모델 올리려고 난리 치는 거다”라는 댓글이 줄을 이었다.

RTX 4090이나 맥 스튜디오 몇 대 사서 사내 인프라를 구축하는 비용이, 클라우드 API에 매달 수만 달러씩 헌납하는 것보다 훨씬 싸게 먹히기 시작했다. 한번 사면 감가상각만 신경 쓰면 되지만, 클라우드 토큰은 밑 빠진 독이다.

정리

“AI가 사람을 대체해서 비용을 아낀다”는 말은 반쪽짜리 신화다. 무계획하게 도입한 AI 에이전트는 인건비보다 무서운 토큰 괴물이 되어 회사를 집어삼킨다.

결국 해답은 하이브리드다. 일상적이고 반복적인 작업은 로컬 머신이나 가성비 오픈소스 모델로 막아내고, 진짜 고난도 의사결정에만 고가 클라우드 모델을 투입하는 정밀한 비용 아키텍처. 이거 설계 못 하는 팀은 조만간 CFO한테 불려가서 멱살 잡힐 거다.