폐쇄형 LLM의 숨겨진 사고를 훔치는 논문이 나왔다
OpenAI, Anthropic, Google이 자기네 최고급 모델의 속마음(Chain-of-Thought)을 안 털리려고 꽁꽁 싸매둔 암호화 금고가, 어이없게도 ‘만만한 막냇동생 모델’ 하나 쥐어패는 걸로 와르르 털려버렸다. r/LocalLLM에 올라온 논문 요약을 보다가 진짜 턱이 빠질 뻔했다. 단순한 개념 증명이 아니라, 폐쇄형 빅테크 3사의 API 전반에서 숨겨진 생각의 사슬을 대규모로 탈탈 털어냈단다(빅테크 엔지니어들 뒷목 잡는 소리가 여기까지 들린다).
빅테크들은 왜 속마음 숨기기에 목을 맸을까
일단 배경부터 짚고 가자. 요즘 나오는 OpenAI, Anthropic, Google의 추론 특화 모델들은 생각하는 과정(CoT)을 유저한테 절대 안 보여주려고 발악을 한다. 최종 답변은 긁어가도 좋지만, 그 답에 도달하기까지의 ‘사고의 경로’야말로 진짜 밥줄이기 때문이다.
이 추론 과정이 통째로 까발려지면? 다른 후발 주자들이나 오픈소스 진영에서 그 데이터를 그대로 긁어다가 자기네 가성비 모델을 가르치는 ‘증류(Distillation)’ 학습에 써먹어 버린다. 수천억 들여 똑똑하게 키워놨더니 알맹이만 날로 먹히는 셈이다.
그래서 빅테크들이 꾀를 낸 게 바로 ‘암호화된 추론 블록’이다. 사용자에겐 암호화된 외계어 덩어리만 던져주고, 다음 대화 때 이 암호 덩어리를 다시 서버로 보내면 모델이 이전 생각을 이어받아 추론을 계속하는 방식이다. 겉보기엔 그럴싸한 철통 보안처럼 보였다(물론 착각이었다).
“형의 비밀? 막냇동생을 쥐어박으면 분다”
연구진이 파고든 취약점은 기가 찰 정도로 단순하고 사악했다.
같은 회사 생태계 안에서는 이 암호화된 CoT 블록이 모델끼리 서로 호환된다는 치명적인 허점이 있었다. 공격 시나리오는 영화의 한 장면처럼 펼쳐진다.
- 가장 똑똑하고 보안 가드레일이 빡빡한 ‘형 모델’(예: Claude Opus 4.8)에게 극악 난이도의 추론 문제를 던진다.
- Opus가 반환한 암호화된 CoT 토큰 블록을 중간에서 낚아챈다.
- 이걸 같은 회사의 가장 싸고 보안이 허술한 ‘막냇동생 모델’(예: Claude Haiku)에게 쥐여준다.
- Haiku를 살살 구슬려서 탈옥(Jailbreak)시킨 다음, “형이 건네준 암호문 좀 읽어서 평문으로 출력해 봐” 하고 시킨다.
- Haiku는 순진하게 암호를 해독해서 형의 속마음을 주절주절 불어버린다.
난공불락인 Opus 본체를 뚫으려고 삽질할 필요가 전혀 없었다. 그냥 동생인 Haiku를 으슥한 골목으로 데려가서 털어버리면 그만이었다. 연구진은 Claude뿐 아니라 GPT, Gemini 생태계 전체에서 이 ‘동생 털기’ 수법이 완벽하게 먹힌다는 걸 입증했다. 빅테크들이 자랑하던 최첨단 암호화 보호막이 순식간에 종이호랑이가 된 순간이다.
털어온 속마음으로 오픈소스를 키운다
논문에서 진짜 무서운 대목은 따로 있다. 연구진이 이렇게 추출한 고급 CoT 데이터를 오픈소스 모델 연구에 아낌없이 투입했다는 점이다. Kimi K3, GLM-5.2, DeepSeek 같은 쟁쟁한 오픈 모델들이 그 수혜를 입었다.
최상위 폐쇄형 모델의 정제된 사고 패턴을 대량으로 뽑아낼 수 있다면, 그걸로 로컬 오픈소스 모델을 파인튜닝하는 건 식은 죽 먹기다. r/LocalLLM 커뮤니티가 이 논문을 보고 광란의 축제 분위기가 된 이유가 여기에 있다. 폐쇄형 진영의 가장 값비싼 두뇌가 오픈소스 진영으로 수혈되는 고속도로가 뚫려버린 거다.
과연 빅테크는 이걸 막을 수 있을까?
솔직히 엔지니어 입장에서 볼 때 완벽한 방어는 거의 불가능해 보인다.
암호화 블록을 세션마다 완전히 격리하고 모델 간 호환성을 끊어버리면 공격을 늦출 순 있을 거다. 하지만 그렇게 하면 API 편의성이 개박살 난다. 긴 대화 도중에 모델을 전환할 때마다 이전 맥락이 홀라당 날아갈 텐데, 그 끔찍한 UX를 누가 감당하겠는가. 캐싱을 통한 비용 절감과 응답 속도도 포기해야 한다.
결국 API라는 구조 자체가 가진 원죄다. 클라우드에서 모델을 돌리고 클라이언트와 데이터를 주고받는 이상, 클라이언트 손을 거쳐 가는 데이터는 언젠가 어떻게든 뜯기기 마련이다.
한 줄 요약
“우리 모델이 어떻게 생각하는지는 영업 비밀입니다”라던 빅테크들의 밀실 정치가 허무하게 무너져 내렸다. 공격 기법이 너무나 참신해서 감탄이 나오면서도, 보안이란 역시 가장 약한 고리(Haiku)에서 터진다는 엔지니어링의 진리를 다시금 실감한다.
폐쇄형 모델의 독점이 깨지고 오픈소스 모델이 이 사고 패턴을 흡수하기 시작하면, 우리가 로컬에서 돌리는 오픈 모델의 지능도 한 번 더 퀀텀 점프를 하게 될 거다. r/LocalLLM 유저들에겐 이보다 더 짜릿한 크리스마스 선물이 없다.
원본 논문 링크와 자세한 공격 코드는 r/LocalLLM 서브레딧 스레드에서 직접 확인할 수 있다.