Opus 5.5, 채팅 도중에 생각의 깊이를 바꿀 수 있게 되다

간단한 오타 하나 고쳐달랬더니 30초 동안 심오한 철학적 고뇌를 하느라 내 피 같은 토큰을 태우고 있다… (야, 그냥 콤마 하나 찍으라고!)

추론(Reasoning) 모델을 써 본 사람이라면 누구나 겪어본 뒷목 잡는 상황이다. 처음 대화 시작할 땐 복잡한 아키텍처 설계라 ‘Extra Thinking’ 모드를 켜두는 게 맞았다. 그런데 설계 다 끝나고 자잘한 변수명 수정이나 오타 잡는 턴으로 넘어왔는데도, 모델 녀석은 여전히 온 우주의 진리를 탐구하듯 딥 씽킹을 때리고 있다. 토큰은 토큰대로 줄줄 새고, 답은 세월아 네월아 느려 터졌다.

그런데 드디어 Anthropic이 Opus 5.5에서 이 가려운 곳을 제대로 긁어줬다. 세션 도중에 ‘생각의 깊이(Reasoning Intensity)’를 실시간으로 전환할 수 있게 기능을 풀어버린 거다.

OpenAI 쪽에서 먼저 선보였던 방식에서 힌트를 얻었다고 솔직히 밝혔는데, 사실 이전에도 기술적으로 불가능하진 않았다. 다만 예전엔 중간에 레벨을 바꾸는 순간 프롬프트 캐시가 와장창 깨지면서 토큰 요금 폭탄을 맞았을 뿐이다(결국 아무도 못 쓰던 빛 좋은 개살구였다).

min-maxing이 실제로 되는가

이제 그 끔찍했던 캐시 페널티 제약이 사라졌다.

난해한 동시성 버그를 잡을 땐 extra로 물고 늘어지게 만들고, 뒤이어 나오는 가벼운 후속 질문이나 확인 작업엔 low나 medium으로 레벨을 똑 떨어뜨리는 식의 ‘극한의 가성비 세팅(Min-Maxing)’이 가능해졌다.

r/ClaudeCode 유저들의 반응도 즉각적이었다. “설계는 extra로 때려잡고 구현은 low로 내리는 내 워크플로우에 완벽한 구원투수가 등장했다”며 환호성이 터졌다.

왜 이렇게 난리일까? 에이전트를 실무에 진득하게 돌려본 사람들은 다 안다. 긴 세션에서 청구서에 찍히는 비용의 7할은 최종 답변이 아니라 모델이 ‘혼자 대가리 굴리는 생각 토큰(Thinking Tokens)’에서 나온다. 그 생각의 깊이를 상황에 따라 손가락 튕기듯 조절할 수 있다면, 한 달 구독 유지비와 API 청구서가 완전히 딴판이 된다.

전체적인 운용 흐름은 이렇다:

복잡한 요청 → reasoning: extra → 깊게 분석
후속 질문(맥락 공유됨) → reasoning: low → 빠르고 저렴하게
단순 반복 작업 → reasoning: medium → 균형

에이전트 설정 파일에서도 태스크 성격에 따라 다이얼을 쪼개놓을 수 있다:

{
  "easy_task":  { "thinking": "low" },
  "refactor":   { "thinking": "medium" },
  "debug_hard": { "thinking": "extra" }
}

비용 구조의 변화라는 관점

이걸 단순한 UI 편의 기능으로만 보면 섭섭하다. 이건 LLM 비용 최적화의 패러다임이 바뀐 사건이다.

지금까지 비용 아끼는 정석은 ‘모델 라우팅’이었다. 어려운 질문은 비싼 Opus나 GPT-4에 던지고, 쉬운 질문은 싼 Haiku나 Flash로 빼돌리는 방식이다. 하지만 모델을 자꾸 갈아타면 말투도 들쭉날쭉해지고, 컨텍스트 전달하는 과정에서 미묘하게 맥락이 튀는 두통이 있었다.

그런데 단일 모델 안에서 생각의 깊이 다이얼만 돌리는 방식은 컨텍스트 일관성을 1도 해치지 않는다. 똑똑한 놈 하나를 데리고 있으면서, 일의 난이도에 따라 시급을 다르게 쳐주는 셈이다.

한편 커뮤니티의 거대한 두 줄기도 참 흥미롭다. 한쪽에선 어제 본 것처럼 RTX 5060 Ti 듀얼 묶어서 Qwen 3.8-27B를 돌리며 “토큰 요금 따위 0원으로 만들겠다”는 로컬 무과금 파가 득세하고 있고, 클라우드 진영은 Opus 5.5처럼 추론 깊이 다이얼을 깎으며 지출을 틀어막고 있다. “추론 토큰값 너무 비싸다”는 동일한 고통을 두고 완전히 다른 두 가지 해법이 격돌하는 셈이다.

왜 주목할까

개인적으로 이 기능은 하루 종일 백그라운드에서 돌아가는 장기 에이전트 루프에서 진가를 발휘할 거라고 본다.

우리 사람도 하루 종일 풀 파워로 머리를 쓰진 않는다. 아키텍처 고민할 땐 당 떨어지게 고민하지만, git commit 메시지 쓰거나 문서 서식 맞출 땐 뇌를 절반쯤 비우고 일한다. 에이전트에게도 마침내 그런 인간적인 ‘집중력의 리듬’을 부여할 수 있게 된 거다.

물론 아직 숙제는 남아있다. “이 작업이 어려운지 쉬운지”를 판단하는 게 여전히 사람 손을 타거나 상위 라우터의 몫이라는 점이다. 자동 분기가 꼬여서 진짜 어려운 버그 분석에 low를 걸어버리면 헛소리를 뿜어낼 테니까. 처음엔 조금 보수적으로, 어려운 쪽에 두고 시작했다가 점진적으로 낮추는 운영의 묘가 필요하다(경험담이다…).

정리

Opus 5.5의 이번 업데이트는 단순한 기능 추가가 아니라 ‘토큰 소비 모델의 진화’다.

많이 생각하면 비싸고, 대충 생각하면 싸다. 이 상식적인 원리를 세션 중단 없이 실시간으로 누릴 수 있게 됐다. 매달 쏟아지는 API 청구서에 가슴이 쓰리다면, 무작정 하위 모델로 강등시키기 전에 생각의 깊이 다이얼부터 손봐보자.

-Reddit 원문