r/LocalLLM에 “드디어 Tiiny Pocket을 받았다. 궁금한 거 물어봐”라는 AMA 글이 올라왔다. 이름만 들으면 감이 잘 안 온다. 쉽게 말하면 로컬 LLM을 돌릴 수 있는 주머니 크기 기계다. 노트북도, 미니PC도 아닌 그냥 작은 상자. 그런 상자에서 35B급 모델이 돌아간다.
작성자 u/Status03은 몇 가지 모델을 돌려본 수치를 그대로 공유했다. 숫자부터 보는 게 빠르겠다.
Qwen3.6-35B-A3B-Turbo (MoE)
속도 39.5 tok/s · 출력 1,500 토큰
첫 토큰까지 1.36초 · 총 39.7초
GPT-OSS-120B (MoE)
속도 18.8 tok/s · 출력 1,500 토큰
첫 토큰까지 0.61초 · 총 80.3초
35B급 MoE 모델을 초당 39.5토큰으로 뽑아낸다. 첫 토큰까지 1.36초면 대화용으로 쓸 만한 반응 속도다. 놀라운 건 GPT-OSS-120B까지 돌아간다는 점. 속도는 절반 이하로 떨어지지만 1,500토큰을 완성하는 데 80초, 긴 답변 하나 기다릴 만한 시간이다.
MoE 구조라는 점이 관건이다. 매번 모든 파라미터를 쓰는 게 아니라 상황마다 일부만 골라 쓰는 방식이라, 이름에 120B 같은 큰 숫자가 붙어도 실제 계산량은 훨씬 작다. 주머니 기계가 대형 모델을 감당하는 건 이 덕분이고, 앞으로 이런 소형 기기들의 경쟁은 모델 크기보다 메모리 대역폭과 MoE 최적화 쪽에서 벌어질 가능성이 크다.
텍스트만 끝이 아니다. Z-Image-Turbo를 얹었더니 512×512 이미지가 6~8초에 나왔다고 한다. 1024×1024는 30초 안팎. AMA 작성자는 ‘윌 스미스가 스파게티를 먹는다’는 그 유명한 밈 장면을 재현해 올렸는데, 이 장면은 사실 로컬 모델 성능 테스트의 단골이다. 손가락 개수나 식기 처리가 어색하면 모델이 그만이라는 판정 기준 같은 것.
소음과 발열 이야기도 눈에 띈다. 놀랄 만큼 조용하고, 만졌을 때 뜨겁지도 않다는 것. 휴대용으로 들고 다니거나 24시간 상시 가동해도 괜찮을 것 같다는 평가까지 나왔다. 다만 장시간 테스트는 아직 남았다고 덧붙였다.
댓글 반응이 이 글을 더 흥미롭게 만든다. 가장 공감을 얻은 지적은 이랬다.
재밌어 보이지만, 집에 더 크고 강한 서버를 두고 API로 쓰면 되잖아. 굳이 작은 박스를 들고 다닐 이유를 모르겠다.
36점을 받은 이 댓글은 로컬 LLM 커뮤니티의 오래된 논쟁을 그대로 꺼내 왔다. 성능만 따지면 당연히 홈 서버가 이긴다. 그런데 이 질문은 반대로도 읽힌다. API 없이, 클라우드 없이, 네트워크가 닿지 않는 곳에서도 AI를 쓸 수 있다는 게 이런 하드웨어의 존재 이유다. 여행 중, 출장 중, 인터넷이 불안한 환경에서. 프라이버시를 이유로 로컬을 고집하는 사람들에게도 해당되는 이야기고.
기기의 메모리가 꽤 넉넉하다는 점도 댓글에서 언급됐다. 120B급 MoE를 돌릴 수 있다는 건 그만큼 메모리가 들어간다는 뜻이고, 작고 조용한 상자에 그 정도가 들어간다는 것 자체가 이 글의 포인트다.
몇 달 전만 해도 이 정도 추론 속도는 데스크탑급 GPU 없이는 상상하기 어려웠다. 전기를 먹고, 팬 소음이 있고, 더워서 자리를 차지하는 기계였으니까. 이 AMA가 보여주는 건 성능 수치 그 자체보다 조금 더 구체적인 변화다. AI를 돌리는 기계가 이제 ‘자리’를 요구하지 않는다. 주머니에 들어가고, 소리도 내지 않는다.
직접 산 사람이 실측 수치를 풀로 깔고, 궁금한 테스트를 댓글로 요청할 수 있는 구조라 홍보글과 결이 다르다. 다만 관망할 대목도 있다. AMA 작성자 본인이 인정했듯 장기 안정성 테스트는 이제 시작 단계다. 가격 정보도 이 글에서는 확인할 수 없었다. 첫 물량을 받은 사용자의 럭키한 사례일 가능성도 배제할 수 없다.
그래도 방향은 분명해 보인다. 로컬 LLM을 돌리는 기계의 무게가 킬로그램에서 그램 단위로 내려오는 중이라는 것. 이 작은 상자가 앞으로 어떤 질문을 던지게 될지, 그리고 정말 24시간 돌아가는지는 후속 테스트 결과를 지켜볼 일이다. 글쓴이도 벤치마크 요청을 계속 받겠다고 했으니, 스레드를 팔로업할 가치는 충분하다.