7와트로 27B 모델을 굴린다 — Apple Neural Engine 리버스 엔지니어링 실험

맥북으로 로컬 LLM 좀 돌려보겠다고 깝치다가(아니 시도하다가), 무릎 위에서 달궈지는 뜨끈한 알루미늄 판때기와 광탈하는 배터리를 보며 한숨 쉰 적이 한두 번이 아니다. (내 소중한 배터리 효율…) 그런데 어제 r/LocalLLM에 눈을 의심하게 만드는 미친 실험이 하나 올라왔다. MatiAI라는 유저가 애플 실리콘의 뉴럴 엔진(ANE) 커널을 밑바닥부터 리버스 엔지니어링해서, Qwen 3.8 27B FP16 모델을 단 ‘7와트(W)’로 돌리는 데 성공했단다. 토큰 속도는 초당 7~8토큰(t/s).

무엇을 했나

애플 실리콘(M시리즈) 맥을 쓰는 사람이라면 알겠지만, 칩셋 안에는 CPU, GPU 말고도 머신러닝 전용 프로세서인 ANE가 떡하니 박혀 있다. 문제는 애플이 이 ANE를 철저하게 감춰놓고 있다는 점이다. iOS 개발자로서 애플의 이 지독한 폐쇄성은 매번 이 갈리는 대목인데, 공식 문서도 빈약하고 제대로 된 로우레벨 도구도 안 준다.

그런데 이 괴물 같은 개발자는 ANE 커널을 직접 뜯어서 리버스 엔지니어링을 해버렸다. 그리고 그 위에 256k 컨텍스트를 뿜어내는 추론 엔진을 바닥부터 새로 짰다. llama.cpp나 MLX 같은 기존 오픈소스 프레임워크를 가져다 쓴 게 아니라, 엔진 자체를 밑바닥부터 조립했다는 소리다(이러니 덕중의 덕은 양덕이라는 말이 나온다).

물론 초당 7~8토큰이면 성격 급한 한국인 개발자 입장에선 솔직히 답답하다(글쓴이 본인도 아직 초기 단계라 최적화할 게 산더미라고 인정했다). 하지만 이 ‘7와트’라는 숫자가 품은 의미를 뜯어보면 소름이 돋는다.

7W가 의미하는 것

똑같은 모델을 M5 Max의 GPU로 bf16 정밀도로 굴리면 8~14 t/s 정도가 나온다. 속도만 보면 당연히 GPU가 2배 가까이 빠르다. 하지만 GPU가 풀로드로 돌면서 퍼먹는 전력과 뿜어내는 발열을 생각하면 이야기가 완전히 달라진다. 7 t/s를 단 7W로 뽑아낸다는 건, 와트당 성능(전성비)에서 ANE가 GPU를 그냥 씹어 먹는다는 뜻이다.

이게 실생활에서 뭘 의미할까? GPU를 갈아 넣는 추론은 맥북 팬을 굉음과 함께 돌리고 팜레스트를 손난로로 만들며 배터리를 1시간 만에 녹여버린다. 반면 이 ANE 추론은 GPU가 거의 놀고 있어서 맥북이 차가운 실온을 유지한다.

충전기 어댑터 없이 배터리만으로 카페에 앉아, 27B짜리 헤비급 로컬 모델과 몇 시간 동안 안심하고 대화할 수 있다는 거다(노트북 들고 다니는 개발자에겐 이게 진짜 해방이다).

게다가 ANE는 M1 깡통 맥북부터 최신 맥북까지 모든 애플 실리콘에 기본 탑재되어 있다. GPU 코어 수나 전력 제한에 덜 구애받으면서 저전력으로 모델을 굴릴 수 있는 문이 열린 셈이다.

왜 주목할까

지금 로컬 LLM 생태계의 가장 큰 병목은 의외로 ‘전력과 발열’이다. 데스크톱에 고가 GPU를 2~3장씩 박아놓고 에어컨 풀가동하는 셋업은 평범한 직장인 개발자에겐 전기세 폭탄이자 소음 지옥이다. 특히 랩탑 환경에서는 GPU 대신 칩 안의 특화 하드웨어를 얼마나 영리하게 활용하느냐가 승부처가 될 수밖에 없다.

애플이 ANE를 공식 프레임워크로 시원하게 열어주지 않는 이상, 결국 커뮤니티의 이런 미친 리버스 엔지니어링에 기댈 수밖에 없다. 느리고 험난한 삽질이지만, 한 번 제대로 뚫리면 모든 맥북 유저가 그 과실을 따 먹게 된다.

초당 7토큰이 지금은 느려 보일지 몰라도, 와트당 효율이라는 완전히 새로운 축에서 ANE의 괴물 같은 잠재력을 확인했다는 것 자체로 가슴이 웅장해진다.

정리

Qwen 3.8 27B를 7W로 굴린 이번 실험은, 로컬 LLM의 무게중심이 “무조건 빠른 속도”에서 “얼마나 적은 자원으로 오래 버티는가”로 이동하고 있음을 보여준다.

애플이 언젠가 마음을 고쳐먹고 ANE 로우레벨 API를 공식 지원해 준다면 판이 뒤집히겠지만, 그전까지는 이런 괴짜 엔지니어들의 뚝심 있는 삽질이 로컬 LLM의 영토를 조금씩 넓혀갈 것이다. 원본 스레드는 여기에서 볼 수 있다.