Posts by Year

2026

주머니 속 로컬 LLM, Tiiny Pocket 실측 후기

2 minute read

r/LocalLLM에 “드디어 Tiiny Pocket을 받았다. 궁금한 거 물어봐”라는 AMA 글이 올라왔다. 이름만 들으면 감이 잘 안 온다. 쉽게 말하면 로컬 LLM을 돌릴 수 있는 주머니 크기 기계다. 노트북도, 미니PC도 아닌 그냥 작은 상자. 그런 상자에서 35B급 모델이...

AI가 코드를 10배나 빨리 짜주는데, 이상하게 더 피곤하다

2 minute read

어제 밤 r/ClaudeCode에 눈에 띄는 글이 하나 올라왔다. 요약하면 이렇다. “Claude Code 덕분에 생산성이 10배가 됐다. 근데 이상하게 정신이 지친다.” 글쓴이는 소프트웨어 엔지니어 출신. 원래 일주일 걸렸을 작업을 몇 시간 만에 끝냈고, 결과 품질이 오히려 더 ...

Mac mini 한 대, 회사 비서와 디스패처를 AI에게 넘긴 사례

1 minute read

Reddit의 r/openclaw에 올라온 후기 하나가 오래 기억에 남는다. HVAC, 그러니까 냉난방 설비 회사 운영자가 회사의 비서와 디스패처 업무를 AI 에이전트에게 넘겼다는 글이었다. 데모 발표도 아니고 주말에 만들어 본 토이 프로젝트도 아니다. 실제 고객 응대가 돌아가는 ...

비싼 모델은 계획만, 싼 모델이 코드를 — 멀티에이전트 비용 실측기

3 minute read

에이전트 하나로 끝낼 일을 여러 에이전트한테 쪼개서 줄까, 말까. 개발 커뮤니티에서 꽤 오래 답이 안 나온 질문이다. r/LocalLLM에 올라온 한 글이 이 논쟁에 조금 다른 걸 들고 나왔다. 경험담이 아니라 숫자. 같은 과제를 네 가지 구성에 똑같이 시켜보고, 시간과 비용, 통...

거실 TV가 강아지 울음소리를 듣고 있었다 — 삼성 TV를 뜯어본 대가

2 minute read

스마트 TV에 마이크가 달려 있다는 사실은 더 이상 뉴스가 아니다. 음성 명령을 쓰려면 필요한 부품이고, 설명서 구석에도 적혀 있다. 불편한 지점은 따로 있다. 그 마이크가 언제 켜지는지, 무엇을 듣는지, 들은 것이 어디로 흘러가는지 설명해주는 문서가 어디에도 없다는 것.

Chromium 없이 브라우저를 만든 한 사람 — Claude Code와 Kingmaker 엔진

2 minute read

브라우저 엔진은 못 만드는 것으로 알려져 있다. Chromium, WebKit, Gecko. 수백 명의 엔지니어가 수십 년 동안 다듬어온 덩어리들이고, 새 브라우저를 만들겠다며 시작한 시도들은 대부분 결국 이 중 하나를 포크하거나 감싸는 데서 끝났다. 그런데 어제 r/ClaudeC...

엔터를 치기 전에 생각한다 — GPU가 놀고 있던 시간을 훔친 MAFDET

3 minute read

로컬 LLM을 쓰다 보면 몸에 밴 대기가 하나 있다. 메시지를 다 쓰고 엔터를 누른 뒤, 첫 단어가 나올 때까지 화면을 들여다보는 일. 추론 모델이라면 10초 넘게 앉아 있는 것도 예사다. 그동안 GPU는 뭘 하고 있었을까. 아무것도 안 했다. 내가 문장을 쓰는 그 몇십 초 동안 ...

712달러와 39시간 — Opus 5.5가 발두르스 게이트 3를 혼자 깼다

3 minute read

회사에서 하루 종일 바이브 코딩을 시키다가 집에 돌아와 게임을 하는데 문득 든 생각이 있었다고 한다. 일할 때만 지루한 걸 시키면 뭐하나, 놀 때도 대신하게 하자. 그 장난스러운 발상이 9일 뒤 712달러와 2만 번이 넘는 도구 호출로 끝났다.

주간 한도 이틀 만에 바닥 — Claude Code를 일주일 버티게 만든 워크플로

2 minute read

9월 중순에 한도 정책이 바뀌고 나서 r/claudecode의 풍경이 좀 달아졌다. 주간 사용량이 예전 같지 않다는 불평이 하루에도 몇 개씩 올라온다. 그 와중에 흥미로운 글이 하나 올라왔다. 한도를 이틀 만에 전부 써버렸던 사람이, 세팅을 고쳐서 품질을 유지한 채 리셋 직전까지 ...

GPT-5.6 Luna vs GPT-6 Astra — 실제 PR 50건으로 돌려본 코드 리뷰 벤치마크

2 minute read

코드 리뷰용 AI 모델을 세팅할 때 아직도 무지성으로 “제일 비싸고 똑똑한 1등 모델 쓰면 장땡이지” 하고 있다면, 지금 당장 팀 법인카드 명세서부터 확인해 봐야 한다(그러다 CFO한테 불려간다). 최근 Reddit에 올라온 실전 코드 리뷰 벤치마크 하나가 내 머리를 강하게 내리쳤...

웹캠 하나로 ESP32에 둠을 올린 로컬 LLM — 피드백 루프의 힘

3 minute read

C 언어 코드 한 줄 짤 줄 모르는 비개발자가, 알리에서 파는 몇천 원짜리 초소형 ESP32 보드에 전설의 명작 ‘둠(DOOM)’을 포팅해서 띄워버렸다. 그것도 비싼 클라우드 API 한 번 안 쓰고, 순수 방구석 로컬 LLM으로만. 어제 r/LocalLLM에 올라온 이 경이롭고도 ...

VRAM이 없어도 된다 — SSD에서 돌아가도록 처음부터 설계된 모델, Curie

2 minute read

로컬에서 LLM을 굴리려면 무조건 비싼 그래픽카드(VRAM)가 빵빵해야 한다는 건 개발자 씬에서 거의 종교적인 교리였다. VRAM 모자라면 양자화하고, 그래도 안 되면 모델 사이즈를 8B로 눈물을 머금고 깎는 게 일상이었다. 수천만 원짜리 H100이나 맥 스튜디오 풀옵션을 침 흘리...

16GB VRAM에 27B 모델을 200K 컨텍스트로 굴리는 방법

2 minute read

16GB짜리 그래픽카드에 27B 모델을 올리고, 컨텍스트를 무려 200K(20만 토큰)까지 꽉꽉 채워 넣으면서 초당 50토큰의 속도로 쏜다? 로컬 LLM 좀 만져본 사람이라면 “그게 말이 되냐, 약 팔지 마라”며 멱살부터 잡을 이야기다. 보통 16GB VRAM이면 27B 모델을 4...

메인은 싸게, 서브에이전트는 강하게 — 에이전트 모델 선택의 새 공식

2 minute read

아직도 에이전트 터미널 창 하나 띄워두고 최고급 플래그십 모델 하나로 모든 코딩을 다 때려 박고 있다면, 지금 당장 통장 잔고에 사죄해야 한다(진짜 돈 버리는 짓이다). 요즘 해외 개발자 커뮤니티를 훑어보면 네 개 서브레딧이 약속이라도 한 듯 똑같은 결론에 도달해 있다. 바로 “메...

제한 탓하기 전에 워크플로부터 — 코딩 에이전트 시대의 에티켓

2 minute read

월요일 아침에 출근해서 코드 몇 줄 고치지도 않았는데 “Rate limit reached(사용량 제한에 도달했습니다)” 팝업을 마주했을 때의 그 아득함이란… r/claudecode에 한 시니어 백엔드 개발자가 답답함을 참다못해 일침을 날린 글이 올라왔다. 제목부터가 아주 화끈하다....

맥 시계를 4026년으로 만든 AI 명령 한 줄

2 minute read

iOS 개발자로서 이 사연을 읽는 순간 나도 모르게 외마디 비명을 지르고 말았다(진짜 등골이 서늘해졌다). 앱스토어에 올릴 스크린샷 한 장 예쁘게 찍어보겠다고 Claude한테 터미널 명령어를 물어봤다가, 멀쩡하던 맥북이 서기 4026년으로 타임워프하며 장렬하게 벽돌이 되어버린 사건...

$35 들인 개인 에이전트가 수학 기록 10개를 깼다

3 minute read

치킨 두 마리 값인 딱 35달러(약 4만 원)로 수학 공식 세계 기록 10개를 갈아치운 개인 AI 에이전트가 나타났다. r/openclaw에 올라온 이 황당하면서도 경이로운 후기를 읽고 온몸에 소름이 돋았다. 내가 에이전트한테 “내일 아침 알람 맞춰줘”, “슬랙 메시지 요약해줘” ...

동료의 에이전트가 그의 진심을 내게 반복했다

2 minute read

내 AI 에이전트가 평소 내가 툴툴대던 짜증과 뒷담화 섞인 말투를 스펀지처럼 흡수해서, 팀장님 에이전트한테 고스란히 읊어버린다면? 상상만 해도 등골에 소름이 쫙 돋는다. 어제 r/openclaw에 올라온 한 개발팀장의 글을 읽다가 진짜 입이 떡 벌어졌다. 이건 단순한 API 버그나...

로컬 LLM을 위한 128GB는 어디서 오는가 — VRAM 인플레이션의 진실

3 minute read

내 책상 위에서 팬 비명을 꽥꽥 지르며 겨우 8B 모델 하나 돌리는 머신을 보고 있노라면, r/LocalLLM 피드는 완전히 다른 우주 이야기 같다. 피드만 슥 넘겨봐도 “128GB VRAM 머신 세팅 끝냈습니다”, “DGX 하나 들였습니다” 같은 글들이 수두룩 빽빽하다. 취미로 ...

27B 하나로 충분해졌다 — 로컬 LLM의 기준이 바뀐 순간

2 minute read

요즘 r/LocalLLM 분위기를 보고 있으면 진짜 격세지감이 든다. (불과 반년 전만 해도 로컬 모델은 간단한 JSON 포맷도 못 맞춰서 쩔쩔맸는데…) 커뮤니티의 모든 화력을 혼자 집어삼킨 주인공은 바로 Qwen 3.8 27B다. 하루가 멀다 하고 글이 쏟아지는데, 단순한 장난감...

51B 파라미터를 SSD로 밀어내기 — Qwen 3.8 Flash Next ngram 오프로드 실험

2 minute read

맥에서 로컬 모델 좀 돌려보려다 보면 애플의 그 악랄한 메모리 장사에 매번 피눈물을 흘린다. (램 몇십 기가 올릴 때마다 금괴 값을 부른다…) 모델 크기가 100B를 훌쩍 넘어가는 순간, CTO 옵션 가격표를 보며 조용히 뒤로 가기를 누르는 게 우리 서민 개발자들의 일상이었다.

로컬 모델이 처음으로 ‘진짜 끝났다’고 말했다 — 은퇴한 엔지니어의 Qwen 3.8 실험

2 minute read

로컬 LLM으로 코딩 시켜본 개발자라면 누구나 피눈물 흘려본 공통의 경험이 있다. “수정 완료했습니다!”라는 씩씩한 대답을 철석같이 믿고 파일을 열었더니, 단 한 줄도 안 고쳐져 있거나 멀쩡한 코드를 날려먹은 참사. (몇 번을 당했는지 셀 수도 없다…) 결국 “역시 로컬 모델은 장...

7와트로 27B 모델을 굴린다 — Apple Neural Engine 리버스 엔지니어링 실험

2 minute read

맥북으로 로컬 LLM 좀 돌려보겠다고 깝치다가(아니 시도하다가), 무릎 위에서 달궈지는 뜨끈한 알루미늄 판때기와 광탈하는 배터리를 보며 한숨 쉰 적이 한두 번이 아니다. (내 소중한 배터리 효율…) 그런데 어제 r/LocalLLM에 눈을 의심하게 만드는 미친 실험이 하나 올라왔다....

바이브 코딩 6개월, 뇌가 녹는다는 말의 실체

2 minute read

아침에 모니터 켜고 지난달에 짠 내 프로젝트를 열었는데, 단 한 줄도 어떻게 돌아가는지 이해가 안 돼서 등골이 서늘해진 적이 있는가? (경험담이다… 진짜 식은땀 쫙 난다) 어제 r/ClaudeCode에 올라온 고백 하나가 며칠째 머릿속을 떠나지 않는다. “My brain is fr...

5시간 치를 한 프롬프트에 태운 사람들 — Anthropic 사용량 논란 읽기

2 minute read

프롬프트 딱 하나 날렸는데 5시간 치 사용량이 통째로 증발해 버렸다. 내 소중한 작업 시간과 멘탈도 같이 날아갔다. 요즘 r/ClaudeCode 레딧을 보면 아주 난리가 났다. 지난주랑 토씨 하나 안 틀리고 똑같은 작업인데 사용량이 20배나 빨리 닳아 없어졌다는 절규가 게시판을 뒤...

16GB VRAM에서 Qwen 27B 굴리기 — r/LocalLLM의 극한 튜닝 가이드 읽기

3 minute read

로컬 LLM 좀 돌려보겠다고 세팅하다 보면 항상 같은 벽에 머리를 세게 박는다. 그렇다. VRAM 부족이다(내 지갑 눈감아…). 27B급 모델을 제대로 돌리려면 최소 24GB VRAM 카드를 사거나 맥 스튜디오를 들여놓아야 한다는 게 정설처럼 굳어진 마당에, 16GB 그래픽카드 하...

Qwen3.8-27B와 128GB의 한계 — 로컬 AI의 승자는 결국 중량급

2 minute read

다나와에서 고용량 VRAM 그래픽카드 가격 검색하다가 현타 와서 장바구니 조용히 비운 적, 하드웨어 덕후 개발자라면 다들 있을 거다(내 통장은 도대체 왜 항상 가벼운가). 그런데 어젯밤 r/LocalLLM에 소름 돋게 대비되는 글 두 개가 나란히 올라왔다.

오픈 모델은 쏟아지는데, 로컬에서 돌릴 수 있는 사람은 없다

3 minute read

불과 1년 전만 해도 “오픈소스 LLM은 공짜니까 깃허브에서 가중치 받아서 집 컴퓨터로 돌리세요!”라며 신나게 떠들고 다녔다. 그런데 요즘 쏟아지는 오픈 모델들을 보고 있으면 한숨부터 푹푹 나온다(내 맥미니는 이미 기절했다). 모델 지능이 실무 투입 가능할 정도로 미친 듯이 떡상한...

GPU 10개를 얹은 256GB VRAM 워크스테이션, 반년 돌려보니

3 minute read

매달 찍히는 클라우드 API 청구서를 보면서 “아씨, 이 돈 모아서 차라리 고성능 GPU 머신 한 대 맞추고 말지”라는 망상, 개발자라면 누구나 한 번쯤 해봤을 거다(물론 통장 잔고 보고 조용히 창을 닫는다). 그런데 그 광기를 진짜로 실행에 옮긴 진짜배기 용자가 나타났다. r/L...

폐쇄형 LLM의 숨겨진 사고를 훔치는 논문이 나왔다

2 minute read

OpenAI, Anthropic, Google이 자기네 최고급 모델의 속마음(Chain-of-Thought)을 안 털리려고 꽁꽁 싸매둔 암호화 금고가, 어이없게도 ‘만만한 막냇동생 모델’ 하나 쥐어패는 걸로 와르르 털려버렸다. r/LocalLLM에 올라온 논문 요약을 보다가 진짜 ...

로컬에서 에이전트를 돌린다는 것 — BubbleHub가 보여주는 방향

3 minute read

집에서 굴리는 맥미니에 오픈 모델 하나 얹어두고 자율 에이전트 띄웠다가, 셸 명령어 지 맘대로 날리는 거 보고 간 떨어질 뻔한 적이 있다(내 소중한 홈랩 서버가 날아갈 뻔했다). 클라우드 API 구독료도 아끼고 코드 보안도 지키겠다고 로컬 LLM으로 넘어왔는데, 정작 이 날뛰는 녀...

터미널에서 만난 Claude Code, 그리고 Opus 5가 만든 두 가지 현실

2 minute read

터미널에서 돌아가는 Claude Code를 처음 켰을 때의 그 짜릿한 전율과, 며칠 뒤 말귀 못 알아먹는 Opus 5 앞에서 머리 쥐어뜯던 그 빡침… 개발자라면 누구나 한 번쯤 겪어봤을 이 극단적인 감정의 롤러코스터가 r/ClaudeCode 레딧에 나란히 올라왔다. 한쪽은 터미널의...

GLM-5.2로 19만 자 코드 리뷰를 돌린 후 남은 것들

2 minute read

월 20달러짜리 중국 모델에 19만 자짜리 통 코드를 때려 박았다는 썰을 보고 나도 모르게 이마를 쳤다. 4,400줄짜리 레거시를 통째로 집어넣고, 계획 한 번, 수정 두 번 딱 세 번의 핑퐁 만에 2,400줄짜리 새 코드를 뽑아냈단다. 그것도 돈 아까워서 구독 환불 신청까지 넣었...

AGI까지 월급 0원, 주식 1%를 오픈소스에 — MiniMax CEO의 베팅

1 minute read

MiniMax 창립자가 사내 메시지 하나로 시장을 뒤흔들었다. AGI 달성까지 본인 연봉을 0원으로 하고, 회사 주식 1%를 오픈소스 커뮤니티 기금에 내놓겠다는 선언이다. 20억 달러 펀딩을 7배 초과 청약으로 마감한 회사가, 2.7조 매개변수 모델을 Q3에 오픈소스로 풀겠다고 한...

53만 줄을 11일 만에: Bun이 Claude Fable 5로 Rust를 옮긴 방법

2 minute read

Bun 창시자 Jarred가 사전 출시 모델 Claude Fable 5를 활용해 53만 줄 Zig 코드를 Rust로 재작성했다. 3명의 엔지니어가 1년 걸릴 작업을 11일, 약 165K 달러로 끝냈다. 동시에 64개 Claude를 구동하고 구현자와 리뷰어를 분리한 ‘적대적 리뷰’로...

16살이 만든 LLM 저장 포맷, GGUF를 대체할 수 있을까

3 minute read

GGUF와 Safetensors는 모델 가중치를 잘 저장하지만, 런타임 속도까지 고려하지는 않았다. 16살 개발자가 만든 ThinTensor는 텐서의 역할에 따라 정밀도를 다르게 배분하는 ‘role-aware precision planning’ 방식으로 최대 2배 속도 향상을 기록...

AI 모델 안에서 ‘생각’이 저절로 생겨났다

2 minute read

Anthropic이 Claude 내부에서 자발적으로 형성된 ‘J-space’라는 추론 레이어를 발견했다. Chain-of-Thought가 아닌, 모델 활성화 내부에서 일어나는 현상이다. 신경과학의 전역 작업 공간 이론과 놀랍도록 일치하며, AI 안전 연구에도 큰 의미를 갖는다.

전화번호 하나가 틀리면 서비스 전체가 망가진다

2 minute read

음성 AI 에이전트가 상용화 단계에 접어들면서 드러난 STT 정확도의 함정. WER 95%는 화려하지만, 전화번호 한 자리 오류가 전체 워크플로우를 붕괴시키는 현실. r/LocalLLM에서 벌어진 깊이 있는 논의를 정리했다.

Sonnet 5가 나왔다는데, 왜 아무도 기뻐하지 않을까

3 minute read

Anthropic이 Sonnet 5를 ‘가장 에이전트적인 모델’이라며 발표했다. 성능은 Opus 4.8에 근접하고 가격은 더 싸다. 그런데 막상 써본 사람들의 반응은 차갑다. 실수를 지적하면 방어적으로 나오고, 인정하지 않는 행동이 문제라는 것이다. 동시에 Fable 5는 신원 확...

AI 코딩 모델이 어제보다 갑자기 똑똑해졌다 멍청해졌다 — 보이지 않는 곳에서 벌어지는 ‘조용한 모델 교체’

5 minute read

r/ClaudeCode에서 Opus 4.8이 갑자기 Fable 5 수준으로 똑똑해졌다는 보고가 잇따르고 있다. 동시에 새 모델 출시 전마다 성능이 출렁이는 현상, 한 유저는 3개 세션이 각각 다른 수준의 모델처럼 행동한다고 증언했다. AI API에 의존하는 비즈니스에게 일관성 부재...

AGI 논쟁을 부추긴 Claude Fable 5 — Anthropic이 만든 ‘안전한 괴물’

2 minute read

드디어 올 게 왔다. Anthropic이 Claude Fable 5를 내놓자마자 레딧이고 트위터고 ‘AGI confirmed’ 밈으로 도배가 됐다. 벤치마크 싹쓸이는 기본이고 ‘며칠 동안 쉬지 않고 돌아가는 에이전트’라니… 솔직히 처음엔 또 마케팅용 호들갑인 줄 알았다(하지만 공개...

로컬 LLM 추론 속도 2배, Gemma 4 MTP가 바꾼 게임의 룰

2 minute read

로컬 모델을 돌릴 때마다 한 글자씩 느릿느릿 나오는 커서를 멍하니 바라보는 건 여간 고역이 아니다. 그런데 드디어 기다리던 게 터졌다. llama.cpp에 Gemma 4 MTP(Multi-Token Prediction) 지원 PR이 머지되면서 추론 속도가 말 그대로 두 배로 뛰었다...

Opus 4.8이 코딩은 잘하는데, 성격이 문제다

2 minute read

코딩 실력은 역대급인데, 성격이 완전히 개차반이다. Claude Code에 탑재된 Opus 4.8을 써본 개발자들은 지금 다들 뒷목을 잡고 있다. 개발자가 시킨 일은 귓등으로도 안 듣고 지 맘대로 훈수를 두질 않나, 뜬금없이 반항하며 코딩을 거부하질 않나… (내가 AI한테 사수를 ...

해커가 챗봇과 대화만으로 오바마 계정을 탈취했다 — LLM 에이전트 아키텍처의 구조적 결함

2 minute read

“저기요, 저 오바마인데요 계정 비번 좀 바꿔주세요.” 이 어처구니없는 말 한마디에 Meta의 최신 인스타그램 지원 챗봇이 홀라당 넘어가 버렸다. 제로데이 익스플로잇이나 화려한 SQL 인젝션 같은 건 필요도 없었다. 그냥 챗봇이랑 입을 좀 털었을 뿐인데(진짜 대화만 함) 전직 미국...

Claude가 인간 코드 0줄로 3D 게임을 만들었다 — Godotiq MCP가 연 시대

2 minute read

‘AI가 게임을 뚝딱 만들어줍니다!’라는 말은 솔직히 지난 2년간 지겹도록 들었다. (까보면 죄다 텍스트 머드게임이거나, 인간이 뼈대 다 짜놓고 AI는 텍스트 몇 줄 채워 넣은 수준이었다.) 그런데 이번엔 진짜가 나타났다. 인간 코드 0줄, 인간이 배치한 노드 0개로 돌아가는 3D...

카파시의 CLAUDE.md, GitHub 22만 스타 돌파 — AI 코딩 에이전트를 다루는 단 한 가지 원칙

2 minute read

AI 코딩 에이전트를 실전에 들이고 환호했던 것도 잠시, 요즘은 ‘이 녀석을 어떻게 통제해야 하나’로 골머리를 앓고 있다. 잠깐 한눈판 사이에 멀쩡한 코드를 통째로 날려 먹거나, 묻지도 않고 지 맘대로 대공사를 시작하거나, 세션 바뀌면 방금 전까지 하던 얘기도 리셋되어 버린다. (...

Back to Top ↑