모델이 바뀌었는데 아무도 말 안 해준다 — Opus 5 논란으로 보는 silent degradation

잠수함 패치에 당한 개발자들

분명 어제까진 말귀를 찰떡같이 알아듣던 놈이 오늘은 바보가 되어 나타났다… 기분 탓이 아니었다.

r/ClaudeCode에서 이상한 글이 연달아 올라왔다. “Opus 5가 출시된 것 같다”는 글과, 곧이어 “Opus 5가 이미 너프됐다?”는 글이었다. 아직 정식 출시 발표도 안 한 모델인데, 벌써 성능이 개판 5분 전으로 떨어졌느냐는 원성이 터져 나온 거다.

단순한 해프닝 같지만, 그 이면에는 AI 업계의 가장 어둡고 심각한 문제가 도사리고 있다.

“네가 쓰는 모델은 Opus 5가 아닙니다”

가장 황당하고 소름 돋는 건 댓글 제보들이었다. 한 유저는 Opus 5에게 질문하려 할 때마다 모델이 스스로 “Opus 5는 존재하지 않는 모델이다. 당신은 현재 Opus 4.8 모델을 사용 중이다”라며 작업을 튕겨냈다고 적었다. 사용자가 AI에게 실시간으로 가스라이팅을 당한 셈이다.

다른 사용자는 이전 4.6 시절엔 눈 감고도 풀던 간단한 작업을 맡겼더니, 모델이 코드를 짜는 대신 난데없이 세차하는 요령에 대해 장황한 훈수를 두기 시작했다고 한다(장난하나 진짜). 컨텍스트 처리가 완전히 맛탱이가 간 거다. “Opus 5는 4.9의 멍청한 다운그레이드 버전에 불과하다”는 독설이 베스트를 먹었다.

조용히 바뀌는 모델, 들썩이는 커뮤니티

진짜 심각한 문제는 “Opus 5가 너프됐냐”가 아니다. 빅테크가 모델 밑단을 언제, 어떻게 바꿨는지 사용자는 1도 알 길이 없다는 점이다.

공식 공지나 체인지로그 한 줄 없이 성능이 조용히 나락을 가는 현상, 이걸 바로 silent degradation(잠잠한 성능 저하)이라고 부른다. 오늘 잘 돌아가던 내 자동화 스크립트가 내일 아침 갑자기 뻗는다. 내 프롬프트 탓인지, 모델이 잠수함 패치로 멍청해진 건지 알 수가 없으니 개발자만 밤새 디버깅하며 멘붕에 빠진다.

이래서 로컬 LLM 진영이 부러워지는 순간이 온다. 로컬 모델은 적어도 내가 Q4_K_M 버전을 딱 고정해두면 어제나 오늘이나 내일이나 한결같이 돌아간다. 통제권이 내 손에 있으니까.

검증 없이 쓴다는 것

더 이상 빅테크의 모델 출력을 맹목적으로 믿으면 안 된다.

한 개발자는 20만~60만 토큰을 퍼부었는데도 결과물이 완전 쓰레기였다며 r/ClaudeCode에 한탄을 올렸다. “토큰을 많이 태운다고 성공하는 게 아니다(tokenmaxing ≠ successmaxing)”라는 뼈 때리는 일침이었다. 숫자는 거대하지만 실속은 텅 빈 헛바퀴만 돈 거다.

그래서 뭘 할 수 있나

완벽한 해결책은 없지만 최소한의 방어선은 칠 수 있다:

첫째, 버전을 고정할 수 있는 API 환경에서는 타임스탬프 스냅샷 버전을 명시적으로 박아둔다.

둘째, 멀티모델 교차 검증 루프를 돌린다. 앞서 소개한 jinn이나 codor처럼 Fable이 작성하고 Sol이나 Opus가 검토하게 만들면, 한 모델이 잠수함 패치로 너프를 먹어도 다른 모델이 걸러낼 확률이 높아진다.

셋째, 커뮤니티 레이더를 켜둔다. Reddit이나 Discord에서 “오늘따라 모델이 멍청하다”는 글이 여러 개 올라오면 내 삽질이 아니라 잠수함 패치 탓이니 삽질을 멈추고 우회로를 찾자.

정리

Opus 5가 진짜 너프됐는지는 Anthropic 개발진만 알 것이다. 중요한 건 특정 모델의 일시적 결함이 아니라, 우리가 모델을 얼마나 통제 가능한 상태에서 쓰고 있느냐는 문제다.

발표 없이 경고 없이 쥐도 새도 모르게 바뀌는 클라우드 모델에 내 모든 시스템을 올인하는 건 대단히 위험하다. 버전을 기록하고, 교차 검증하며, 로컬 모델을 적절히 섞어 쓰는 안전장치가 필수다.