능력 벤치마크는 거짓말한다 — 26개 로컬 LLM 에이전트 실전 테스트가 보여준 진짜 순위

“벤치마크 1위라더니, 왜 JSON 하나 제대로 못 뱉고 뻗어버리냐고!”

로컬 LLM을 에이전트 루프에 굴려본 사람이라면 이 깊은 빡침을 한 번쯤 겪어봤을 거다. (나도 맥미니 터미널 보면서 모니터 부술 뻔했다.) 챗봇 순위표에서 왕좌를 차지한 모델이라도 실제 도구 호출 루프에 던져놓으면 엉뚱한 JSON을 내뱉거나, 3단계 만에 무한 루프에 빠져 형식을 개판으로 박살 낸다.

r/localllm에서 한 사용자가 M1 Max에서 26개 로컬 모델을 대상으로 8단계 에이전트 실패 모드 가운틀릿(Gauntlet)을 돌린 대규모 실전 테스트 결과를 공개했다. 결론부터 말하면: 14개 모델만이 모든 테스트를 통과했고, 챗봇 벤치마크 상위권 모델 다수가 에이전트 루프에서 탈락했다. 종합 1위는 gpt-oss-20b. 그리고 10B 이하 카테고리에서 Qwen3.5-9B-DeepSeek가 8/8을 기록하는 돌풍을 보였다.

8단계 게untlet: 무엇을 테스트했는가

이 벤치마크는 “얼마나 똑똑한가”가 아니라 “에이전트 루프에서 얼마나 살아남는가”를 측정한다. 8단계 각각은 실제 에이전트 오케스트레이션에서 발생하는 고전적 실패 모드에 대응한다:

• JSON 형식 준수: 도구 호출 시 JSON 스키마를 정확히 따르는가
• 루프 탈출: 같은 행동을 무한 반복하지 않는가
• 에러 복구: 도구 호출 실패 시 대안 경로를 찾는가
• 상태 추적: 멀티턴 대화에서 이전 결정을 기억하고 일관성을 유지하는가
• 토큰 효율: 불필요한 사고 토큰 낭비 없이 필요한 만큼만 추론하는가
• 도구 선택 정확도: 주어진 도구 중 상황에 맞는 것을 고르는가
• 중단 조건 인식: 작업이 완료되면 스스로 멈추는가
• 컨텍스트 창 관리: 긴 세션에서 정보를 잃지 않는가

챗봇 벤치마크는 대부분 단일 턴 질문응답이거나, 기껏해야 2~3턴의 대화 연속성을 평가한다. 반면 에이전트는 수십 번의 도구 호출, 에러 처리, 상태 관리를 연속으로 수행해야 한다. 이 간극이 오늘의 핵심 발견이다.

크기는 신뢰성을, 아키텍처는 속도를 결정한다

벤치마크에서 가장 명확하게 드러난 패턴 두 가지:

첫째, 모델 크기와 에이전트 신뢰성은 비례한다. 20B 이상 모델의 통과율이 압도적으로 높았다. 작은 모델들은 JSON 형식 준수나 루프 탈출 같은 “지루하지만 치명적인” 항목에서 자주 실패했다. 지능이 부족해서가 아니라, 에이전트 루프의 엄격한 형식 요구사항을 지속적으로 준수하는 데 필요한 “인내심”이 부족해서다.

둘째, MoE(Mixture of Experts) 아키텍처가 Dense 모델 대비 확실한 속도 우위를 보였다. 동일 파라미터 수에서 MoE는 활성 파라미터만 연산에 사용하므로 추론 속도가 빠르고, 에이전트 루프에서 한 턴당 대기 시간이 짧아진다. 이는 체감 성능에 직결된다 — 에이전트가 30번의 도구 호출을 해야 할 때, 턴당 1초 차이가 누적되면 30초의 차이가 된다.

종합 1위 gpt-oss-20b는 전 테스트를 통과하면서도 최고 속도를 기록한 점이 인상적이다. Dense 아키텍처임에도 최적화가 아주 기가 막히게 되어 있다.

“Thinking” 모델의 역설

재미있는 발견 중 하나는 “Thinking” 라벨이 붙은 모델들의 행동이다. 이 모델들은 사용자가 thinking을 꺼도 내부적으로 추론 체인을 계속 생성한다. 결과적으로 토큰을 낭비하고, 에이전트 루프에서는 이 낭비가 누적되어 응답 지연과 컨텍스트 창 소모로 이어진다.

에이전트 오케스트레이션에서 “생각”은 선택이 아니라 비용이다. 불필요한 사고 토큰은 속도 저하와 비용 증가를 동반하며, 8단계 게untlet의 “토큰 효율” 항목에서 Thinking 모델들이 일관되게 불리한 평가를 받은 이유이기도 하다.

그럼에도 10B 이하에서 Qwen3.5-9B-DeepSeek가 8/8을 달성한 것은 주목할 만하다. 증류(Distillation) 기법이 단순히 지식을 압축하는 것을 넘어, 에이전트 루프에서의 형식 준수 능력까지 전달할 수 있음을 시사한다. 로컬로 에이전트를 구동하려는 사용자에게 9B 모델이 실용적 선택지가 될 수 있다는 의미다.

왜 지금 주목해야 하는가

2025년까지만 해도 로컬 LLM은 “챗봇이나 돌리는 용도”로 취급됐다. 하지만 2026년 들어 OpenClaw, Claude Code, Cursor 같은 도구들이 로컬 모델을 에이전트 백엔드로 사용하는 사례가 급증하고 있다. 이때 필요한 것은 “어려운 질문에 잘 대답하는 모델”이 아니라 “도구를 안정적으로 호출하고, 실패를 복구하고, 무한 루프에 빠지지 않는 모델”이다.

이 벤치마크가 시사하는 바는 명확하다. 에이전트 시대의 모델 선택 기준은 벤치마크 점수가 아니라 에이전트 게untlet 통과 여부다. 로컬에서 에이전트를 구동하려면 MoE 아키텍처를 우선시하고, Thinking 기능이 제어 가능한 모델을 선택하며, 10B 이하라면 증류 모델을 고려하라. 챗봇 벤치마크 1위 모델이 에이전트 루프에서 3단계 만에 고장 나는 세상에서, 숫자보다 생존력이 중요하다.