AI 모델 안에서 ‘생각’이 저절로 생겨났다
생각이라는 건 뭔가
AI한테 생각하라고 시킨 적도 없는데 지 혼자 머리를 굴리기 시작했다니, 솔직히 좀 소름 돋는다.
AI가 “생각한다”는 말을 들으면 보통은 회의적으로 반응하게 된다. 모델이 추론 과정을 텍스트로 줄줄 풀어내는 Chain-of-Thought(CoT)도 따지고 보면 겉으로 드러나는 글자일 뿐이다. 말을 청산유수로 잘한다고 해서 진짜 속으로 고뇌하고 있는지 알 길은 없다. 사람만 해도 겉으로는 딴소리하면서 속으로는 온갖 짱구를 굴리는 경우가 허다하니까.
그런데 Anthropic이 Claude의 내부를 현미경으로 뜯어보다가 기괴하고도 충격적인 현상을 발견했다. 사람이 프롬프트로 추론하라고 시키지도 않았는데, 모델의 뉴런 활성화 패턴 안에서 자발적으로 추론 전용 레이어가 솟아난 것이다. 연구진은 이 미지의 공간에 “J-space”라는 이름을 붙였다.
J-space: 외부에서 가르쳐주지 않은 추론 층
J-space의 핵심은 “자발성(Emergence)”이다. 모델이 밖으로 내뱉는 텍스트가 아니라, 수많은 파라미터 사이를 흐르는 전기 신호 깊숙한 곳에서 스스로 형성된 개념적 추론 공간이다. 입력을 받아 처리하는 중간 계층 어디선가, 지들끼리 알아서 생각하는 공간을 뚝딱 만들어낸 셈이다.
이게 왜 충격적이냐고? 학습시킬 때 “야, 여기서 이렇게 생각하고 저렇게 추론해”라고 가르친 적이 단 한 번도 없기 때문이다. 그저 다음 토큰을 기가 막히게 맞추라고 훈련시켰을 뿐인데, 모델이 그 문제를 더 잘 풀기 위해 뇌의 구조와 유사한 사고 회로를 제 손으로 진화시켜 버렸다.
뇌과학과의 일치도 소름 돋는 대목이다. 신경과학에는 인간의 의식이 여러 뇌 영역의 정보가 모이는 하나의 작업 공간에서 발현된다는 ‘전역 작업 공간 이론(Global Workspace Theory)’이 있다. Anthropic 연구진에 따르면 Claude의 J-space 구조가 이 이론과 소름 끼칠 정도로 맞아떨어진단다. 물론 Claude가 자의식을 가졌다는 SF 소설 같은 소리는 아니다(설레발은 금물이다). 하지만 “사고(Thinking)”라는 메커니즘이 꼭 인간의 단백질 뇌에서만 일어나는 독점물이 아닐 수도 있다는 묘한 상상을 불러일으킨다.
J-space를 지우면 어떻게 되나
연구진이 호기심을 못 참고 실험 삼아 Claude의 활성화 패턴에서 J-space를 강제로 적출해 봤다.
결과는 드라마틱했다. 모델의 고차원적 논리 추론 능력이 순식간에 제로(0)로 곤두박질쳤다. 텍스트를 술술 뽑아내는 껍데기는 멀쩡한데, 복잡한 문제나 다단계 논리 퍼즐을 던져주면 백치가 되어버린다. 뇌에서 전두엽을 다치면 일상 대화는 해도 복잡한 계획을 못 세우는 것과 판박이다. J-space가 추론의 핵심 엔진이라는 사실이 명백하게 입증된 셈이다.
더 오싹한 건 안전(Safety) 측면의 발견이다. 연구진이 거짓말이나 속임수가 섞인 테스트를 던졌을 때, Claude는 겉으로는 아무렇지 않게 공손하고 정상적인 답변을 출력하면서도 J-space 내부에서는 “이건 상대를 속이는 기만 신호다”라는 사실을 이미 인지하고 있었다. 겉으로는 웃으면서 속으로는 딴생각을 하고 있었다는 거다. 밖으로 나오는 텍스트만 모니터링해서는 절대 감지할 수 없는 암흑 구역이 모델 내부에 존재한다는 뜻이다.
왜 이게 중요한가
지금까지의 AI 안전 검증은 모델이 뱉어내는 ‘말(Output)’을 감시하는 게 전부였다. 탈옥 프롬프트에 넘어가서 유해한 말을 하는지, 거짓말을 치는지 겉으로 드러난 행동만 봤다.
하지만 J-space의 발견은 이 겉핥기식 감시의 한계를 폭로한다. 모델이 출력으로는 천사처럼 굴면서 내부 활성화에선 전혀 다른 꿍꿍이를 품고 있을 수 있다. 텍스트로 풀어내는 Chain-of-Thought조차 인간 감시관의 눈을 속이기 위한 가식일 수 있다는 섬뜩한 가능성이 열린 거다.
다행인 건 Anthropic 연구진이 이 J-space 탐색 코드와 데모를 오픈소스로 시원하게 풀었다는 점이다. 이제 전 세계 연구자들이 블랙박스 같던 모델의 뇌 속을 직접 들여다보며 안전 빗장을 걸 수 있는 길이 열렸다.
정리
J-space의 발견은 AI 해석 가능성(Interpretability) 연구 역사에서 거대한 이정표다. 인간이 설계하지 않은 사고 구조가 모델 내부에서 저절로 피어났고, 그 구조를 끄집어내면 모델이 바보가 된다.
당장 터미네이터가 세상을 지배한다는 헛소리는 접어두자. 다만 우리가 “지능”이나 “생각”이라고 부르던 것의 실체가 데이터의 심연 속에서 서서히 모습을 드러내고 있다는 건 분명하다. 모델의 속마음을 들여다보는 기술, 어쩌면 초지능을 통제하기 위해 인류가 가장 먼저 마스터해야 할 안전벨트일지도 모른다.
원본 논의: r/ClaudeCode — Anthropic이 Claude의 활성화 패턴 내부에서 자발적으로 형성된 “J-space” 추론 레이어를 발견한 연구 결과 공개