16살이 만든 LLM 저장 포맷, GGUF를 대체할 수 있을까
GGUF와 Safetensors는 모델 가중치를 잘 저장하지만, 런타임 속도까지 고려하지는 않았다. 16살 개발자가 만든 ThinTensor는 텐서의 역할에 따라 정밀도를 다르게 배분하는 ‘role-aware precision planning’ 방식으로 최대 2배 속도 향상을 기록...
## 최신 글
Recent Posts
AI 모델 안에서 ‘생각’이 저절로 생겨났다
Anthropic이 Claude 내부에서 자발적으로 형성된 ‘J-space’라는 추론 레이어를 발견했다. Chain-of-Thought가 아닌, 모델 활성화 내부에서 일어나는 현상이다. 신경과학의 전역 작업 공간 이론과 놀랍도록 일치하며, AI 안전 연구에도 큰 의미를 갖는다.
전화번호 하나가 틀리면 서비스 전체가 망가진다
음성 AI 에이전트가 상용화 단계에 접어들면서 드러난 STT 정확도의 함정. WER 95%는 화려하지만, 전화번호 한 자리 오류가 전체 워크플로우를 붕괴시키는 현실. r/LocalLLM에서 벌어진 깊이 있는 논의를 정리했다.
AI가 코드를 짜주는 시대, 개발자는 리뷰어가 되는 건가
11년 차 시니어 개발자가 고백한 AI 코딩 시대의 정체성 위기. 코드 리뷰 실력은 예리해졌지만, 막상 직접 타이핑하려니 느리고 서툴렀다. r/ClaudeCode 커뮤니티의 논쟁을 살펴봤다.
NVIDIA가 조용히 내놓은 550B 모델 — 에이전트 시대의 오픈 웨이트
NVIDIA가 Nemotron 3 Ultra를 출시했다. 550B 매개변수 MoE 모델, 1M 토큰 컨텍스트, 에이전트 워크플로우 특화. Ollama로 로컬 실행도 가능하지만 H100 8대가 필요하다. 커뮤니티 반응을 정리했다.