세션마다 10k 토큰을 공짜로 되돌려받는 법 — 코딩 에이전트의 컨텍스트 경제학
컨텍스트 윈도우가 100만 토큰(1M)까지 늘어났다고 해서 “와, 이제 토큰 걱정 끝났다!” 싶었는데, 이상하게 에이전트 돌리다 보면 금방 멍청해지고 토큰은 미친 듯이 닳아 없어진다. (내 기분 탓인가??)
컨텍스트 윈도우가 100만 토큰(1M)까지 늘어났다고 해서 “와, 이제 토큰 걱정 끝났다!” 싶었는데, 이상하게 에이전트 돌리다 보면 금방 멍청해지고 토큰은 미친 듯이 닳아 없어진다. (내 기분 탓인가??)
요즘 r/LocalLLM 분위기를 보고 있으면 진짜 격세지감이 든다. (불과 반년 전만 해도 로컬 모델은 간단한 JSON 포맷도 못 맞춰서 쩔쩔맸는데…) 커뮤니티의 모든 화력을 혼자 집어삼킨 주인공은 바로 Qwen 3.8 27B다. 하루가 멀다 하고 글이 쏟아지는데, 단순한 장난감...
내 방 책상 밑 게이밍 PC 한 대로 51B 파라미터짜리 거대 모델을 굴려 코딩 에이전트를 시킨다? (불과 1년 전이었으면 헛소리 취급당하기 딱 좋은 얘기다)
월 200달러 내고 Claude Max 구독해서 쓰다가 터미널 토큰 로그를 열어보고 입이 떡 벌어진 적이 있는가? (경험담이다… 내가 지금 앤트로픽 서버를 부수고 있나 싶었다) “내 사용량을 API 소매가로 계산해 봤더니 이번 달에만 7,000달러(약 1,000만 원!)어치를 태웠...
맥에서 로컬 모델 좀 돌려보려다 보면 애플의 그 악랄한 메모리 장사에 매번 피눈물을 흘린다. (램 몇십 기가 올릴 때마다 금괴 값을 부른다…) 모델 크기가 100B를 훌쩍 넘어가는 순간, CTO 옵션 가격표를 보며 조용히 뒤로 가기를 누르는 게 우리 서민 개발자들의 일상이었다.