집에서 235M 파라미터 모델을 직접 훈련한 사람이 나왔다

집구석에서 그래픽카드 한 장으로 LLM을 밑바닥부터 훈련시킨 괴짜가 나타났다.

로컬 LLM 레딧에 꽤나 신선하고 가슴 뛰는 프로젝트가 올라왔다. 한 개발자가 PyTorch를 들고 235M 파라미터짜리 트랜스포머 모델을 scratch부터 직접 깎아서 공개했다. 모델 이름은 Plasma 1.0.

235M, 장난감 아닌가?

GPT-4나 Opus가 수천억, 수조 파라미터를 자랑하는 판국에 235M이라니, 코웃음이 나올 수도 있다. 하지만 숫자가 핵심이 아니다. 이 프로젝트가 증명한 진짜 충격은 “빅테크 클라우드 API 없이도, 방구석 GPU 한 장으로 사전학습 전체 파이프라인을 완주할 수 있다”는 사실이다.

사용한 장비는 RTX 5080 한 장. 수억 원짜리 H100 클러스터도, 복잡한 분산 학습 인프라도 없이 평범한 가정집 책상 위에서 훈련을 끝마쳤다.

최신 아키텍처를 죄다 때려 박았다

더 흥미로운 건 모델 구조다. 작은 덩치에 최신 플래그십 모델들의 핵심 기법을 알차게 버무렸다.

• GQA (Grouped Query Attention): 멀티헤드 어텐션의 메모리 병목을 획기적으로 개선한 방식이다. Llama 2 이후 현대 LLM의 표준이 됐다.
• SwiGLU 활성화 함수: 전통적인 ReLU를 밀어내고 최신 Llama 계열 모델들의 기본기가 된 함수다.
• RoPE (Rotary Position Embedding): 위치 정보를 회전 행렬로 인코딩해 긴 문맥 처리에 유리한 최신 임베딩 기법이다.

2024~2025년 대형 프론티어 모델들을 지탱하던 핵심 빌딩 블록들을 235M이라는 극소형 체급에 그대로 이식했다. 대형 모델의 전유물로 여겨지던 최신 아키텍처가 소형 모델에서도 제대로 힘을 발휘하는지 검증한 셈이다.

커뮤니티 반응

r/localllm에서 225개의 추천을 받으며 열광적인 반응이 쏟아졌다.

“이 훈련 과정을 유튜브 튜토리얼로 풀면 대박 난다”는 응원부터, 얼른 GGUF로 변환해서 Ollama에 올려달라는 요청, “이 정도 체급이면 파인튜닝 실험 주기를 몇 시간 단위로 돌릴 수 있어서 교육용으로 최고”라는 호평까지 이어졌다.

로컬 LLM 커뮤니티의 시선이 단순히 “어떻게 하면 제일 큰 모델을 억지로 돌릴까”에서 “직접 바닥부터 만들며 원리를 파헤치는 재미”로 진화하고 있다는 증거다.

왜 지금 이런 프로젝트가 와닿을까

AI 코딩 툴이 범람하면서 개발자들 사이에선 오히려 “이 블랙박스 안쪽은 대체 어떻게 돌아가는 거지?”라는 갈증이 커지고 있다. Claude Code나 Cursor를 쓰면서도 내부 메커니즘을 제대로 뜯어보고 싶다는 본능적인 호기심이다.

235M은 그런 엔지니어링 갈증을 풀기에 가장 완벽한 체급이다. 학습에 며칠씩 걸리지도 않고, 아키텍처를 조금씩 바꿔가며 손맛을 느낄 수 있다. 남이 만든 7B 모델을 다운받아 파인튜닝하는 것과, 텐서 하나부터 직접 조립해 보는 건 차원이 다른 경험이다.

정리

Plasma 1.0이 실무에서 거창한 코딩을 대신해 주진 못한다(그걸 기대하면 도둑놈이다). 하지만 이 프로젝트가 던지는 메시지는 명확하다.

트랜스포머 모델의 사전학습은 더 이상 빅테크 연구소의 성역이 아니다. 최신 논문의 아키텍처를 내 손으로 직접 구현하고 로컬에서 돌려보는 시대가 열렸다.

“양자화된 모델 가져다 쓰기”를 넘어 “직접 설계하고 돌려보기”로 로컬 LLM 생태계의 지평이 넓어지고 있다. 개발자로서 이런 흐름을 보고 있으면 가슴이 안 뛸 수가 없다.