Opus 4.8 vs GPT-5.5 — 벤치마크 점수와 실전 손맛의 기묘한 괴리

벤치마크 점수가 뜰 때마다 벌어지는 코미디가 있다. 숫자는 압도적이라는데, 내 손가락의 실전 체감은 정반대다(이번에도 예외는 없었다).

DeepSWE 리더보드에 Claude Opus 4.8의 점수가 등록되자마자 개발자 커뮤니티가 발칵 뒤집혔다. GPT-5.5가 70%를 찍는 동안 Opus 4.8은 58%에 그치며 무려 12%p나 뒤처졌다.

모델	설정	pass@1
GPT-5.5	xhigh	70%
Opus 4.8	max	58%
GPT-5.4	—	56%

숫자만 보면 Opus가 완패한 것처럼 보인다. 하지만 r/ClaudeCode의 실전 개발자들은 고개를 갸웃거렸다.

게시글 작성자조차 솔직하게 털어놨다.

“솔직히 Opus 4.8이 GPT-5.5보다 나쁘다는 건 상상하기 어렵다. 일상 코딩에선 Opus가 최소 동등하거나 더 낫다는 느낌을 받았다.”

단순한 팬심의 쉴드가 아니다. 왜 숫자가 현실의 손맛을 배신하는 걸까?

벤치마크 숫자가 현실을 왜곡하는 이유

댓글창에서 날카로운 분석들이 쏟아져 나왔다.

첫째, 에이전트 하네스 호환성의 함정이다. DeepSWE는 모든 모델을 동일한 단일 에이전트 환경에서 돌린다. 특정 모델의 프롬프트 스타일이나 툴 호출 방식에 최적화된 프레임워크라면 점수가 뻥튀기될 수밖에 없다. 모델 순수 지능이 아니라 에이전트 궁합 점수인 셈이다.

둘째, 실전 코딩의 다양성이다. SWE-bench류는 레거시 저장소의 정형화된 GitHub 버그 이슈를 해결하는 데 특화돼 있다. 하지만 현업 개발자가 매일 마주하는 작업은 신규 비즈니스 로직 설계, 복잡한 UI 인터랙션, 코드 리팩토링, 도메인 컨텍스트 조율 등 훨씬 복합적이다. 이 영역에선 여전히 Opus 특유의 뉘앙스 파악 능력이 발군이다.

셋째, 비용 효율성의 현실이다. GPT-5.5 기반 Codex를 실전에서 굴려본 한 개발자의 솔직한 후기가 큰 공감을 얻었다.

“지난주에 Codex 시험 삼아 하루 만에 1,000크레딧을 태워버렸다. 성능은 좋아도 Claude 쓸 때만큼 편하게 쓰지도 못했다.”

점수 10% 더 높자고 비용을 3배씩 태워야 한다면, 그건 실무 엔지니어에게 좋은 모델이 아니라 재앙이다.

정리

DeepSWE 벤치마크의 숫자는 참고용일 뿐, 신의 계시가 아니다.

동일한 에이전트 틀에 가둬놓고 잰 점수 몇 점에 일희일비할 필요 없다. 중요한 건 내 프로젝트 아키텍처와 내 손가락의 호흡에 얼마나 자연스럽게 감기느냐, 그리고 통장을 거덜 내지 않는 가성비를 갖췄느냐다.

숫자에 휘둘리지 말고, 내 터미널에서 직접 부딪히며 느껴지는 손맛을 믿자. 결국 가장 정확한 벤치마크는 내 에디터 창이다.

---

참고: DeepSWE 리더보드 원문