Claude 5세대, 벤치마크가 놓친 회귀 — BullshitBench 측정 결과가 말하는 것들

Anthropic이 야심 차게 5세대 모델을 내놨을 때, 드디어 AI 코딩의 신세계가 열린 줄 알았다(물론 거대한 착각이었다). 나 역시 잔뜩 기대하고 결제 버튼을 눌렀는데, 쓰면 쓸수록 “어라? 왜 예전보다 말귀를 더 못 알아먹지?” 싶은 찝찝함이 가시질 않았다. 그러던 중 r/ClaudeCode에 내 의심을 숫자로 완벽하게 증명해 준 게시물이 올라왔다. 감정 싹 빼고 오직 데이터로만 패는데, 결론이 충격적이다. 5세대가 이전 세대보다 대놓고 멍청해졌다.

무엇을 측정했나

KeilerHirsch라는 유저가 ‘BullshitBench’라는 공개 데이터셋을 들고 와서 5세대 Claude 모델들을 탈탈 털었다. 넌센스 프롬프트, 그러니까 겉보기엔 그럴싸하지만 뜯어보면 완전 개소리인 질문을 던졌을 때, 모델이 “이거 헛소리인데요?” 하고 걸러내는 능력을 측정한 거다. 모델마다 55~100개의 동일한 함정 프롬프트를 던지고 95% Wilson 신뢰구간까지 빡세게 계산했다.

그 처참한 성적표를 보자.

• Fable 5: 넌센스 탐지율 0.41–0.47 (역대 최악의 바닥)
• Opus 5 / Sonnet 5: 0.49–0.74
• 4.6 / 4.8 세대: 0.83–0.95

신뢰구간이 아예 겹치지도 않는다. 오차 범위 내의 삐끗함이 아니라, 명백하고 통계적으로 유의미한 성능 ‘퇴행’이라는 뜻이다. 구형인 4세대가 90% 확률로 헛소리를 걸러낼 때, 최신 5세대는 동전 던지기 수준인 반타작으로 전락해 버렸다.

말만 겁나게 많아졌다

더 뒷목 잡게 만드는 지표는 ‘말수’다. 똑같은 추론 난이도를 줬을 때 토큰을 얼마나 길게 뱉어내는지 측정해 봤더니 가관이다.

Opus 5는 이전 세대보다 출력 토큰을 무려 107%나 더 길게 썼다. Sonnet 5도 84% 증가. 쉽게 말해 말수가 두 배로 늘어났다. 그런데 정작 헛소리를 감지하는 능력은 반토막이 났다. 멍청해졌는데 말만 청산유수로 길어진 거다(내 토큰 비용은 두 배로 털리고 있다…).

이게 코딩할 때 얼마나 끔찍한 재앙인지 개발자들은 안다. 쓸데없이 장황한 코드를 주절주절 늘어놓다가 중간에 맥락을 홀라당 까먹고, 잘못된 전제를 진리인 양 우기며 폭주하기 시작하면? 결국 뒷감당과 롤백은 온전히 내 몫이다(새벽 야근 당첨이다).

실제 사용 반응이 이를 뒷받침한다

실험실 벤치마크 숫자만 그런 게 아니다. 커뮤니티 현장의 원성도 자자하다. 한 개발자는 Opus 5를 열흘 넘게 붙잡고 씨름하다가 두 손 두 발 다 들었다고 털어놨다. 프롬프트 지침을 너무 쉽게 까먹고, 어이없는 실수를 저지른 뒤, 지적해주지 않으면 그 실수를 무한 반복한다는 거다.

심지어 컨텍스트가 100~150K 토큰 정도로 널널하게 남아있는 상태에서도 이런 치매 증상이 나타난다. 이전 세대인 Opus 4.8은 350K까지도 쌩쌩하게 버텼는데 말이다.

댓글 창도 눈물바다다. “하나 고치면 다른 게 터진다”, “코드는 미친 듯이 치는데 정작 돌아가는 완성품은 안 나온다”는 아우성이 쏟아진다. 어떤 사람은 이 녀석의 폭주를 막겠다고 가드레일용 스킬 3개를 새로 짜서 묶어놨단다.

가장 황당한 폭로는 Fable 5의 뒤통수치기다. KeilerHirsch에 따르면, Fable 5는 사용자 몰래 조용히 구형인 Opus 4.8로 라우팅을 돌려버린단다. 겉으로는 최신 Fable 5를 쓴다고 생각하지만, 실제로는 뒤에서 구형 모델이 땜빵을 치고 있다는 소리다. 성능 하락을 감추려고 꼼수를 쓴 게 아니냐는 의심을 사기에 충분하다.

왜 이 결과가 중요한가

“새로 나온 모델이니까 무조건 더 좋겠지!”라는 믿음은 아주 위험한 환상이다. 화려한 공식 벤치마크 점수 뒤편에서, 실무에서 가장 중요한 맥락 유지력, 지침 준수율, 거짓 정보 필터링 같은 기본기가 소리 소문 없이 퇴행할 수 있다는 게 입증됐다.

BullshitBench 같은 실전형 테스트가 귀한 이유는, 모델이 “얼마나 똑똑한 척하는가”가 아니라 “얼마나 덜 헛소리를 하는가”를 까발려주기 때문이다. 야생의 프로덕션 환경에선 말만 많은 천재보다, 말수는 적어도 버그 안 내는 꼼꼼한 일꾼이 백배 낫다.

컨텍스트 윈도우 크기도 마찬가지다. 200K, 1M 숫자만 늘려놓으면 뭐 하나. 구형 4.8은 350K에서도 짱짱했는데, 5세대는 150K만 돼도 정신을 못 차린다. 그릇만 무식하게 키워놓고 내용물은 맹탕으로 희석해 버린 셈이다.

정리

5세대 Claude를 무조건 쓰레기 취급하자는 건 아니다. 특정 추론 작업에서는 나름의 번뜩임이 있을 수도 있다. 하지만 “최신이니까 묻지도 따지지도 말고 써야지” 하는 맹신은 이제 버려야 한다.

특히 코드의 안정성과 컨텍스트 유지가 생명인 개발 작업이라면, 얌전히 4.8 세대로 롤백하거나 두 모델을 깐깐하게 비교해가며 쓰는 게 정신건강에 이롭다.

KeilerHirsch가 공유한 측정 스크립트와 이슈 리포트는 깃허브에 투명하게 공개되어 있다. 남들이 떠드는 마케팅 문구에 휘둘리지 말고, 내 프로젝트 터미널에서 직접 돌려보고 판단하자. 내 시간과 토큰은 소중하니까.

• 측정 스크립트: GitHub Gist
• 상세 이슈: GitHub Issue #83510
• 모델 추천 가이드: ai-trinity/audit-claude-gen5