모델은 자기가 루프에 갇힌 걸 알고 있었다 — Qwen3.8-27B의 Angry Birds 사건
AI가 자기가 미쳐가고 있다는 걸 스스로 알면서도 폭주를 멈추지 못하는 기괴한 광경을 본 적이 있는가? (공포 영화 얘기가 아니다) 어제 r/LocalLLM에 올라온 로그 하나를 보다가 소름이 쫙 돋았다. 로컬에서 Qwen3.8-27B를 돌리던 한 유저가 단어 몇 개 추가하는 사소한 작업을 시켰는데, 모델이 갑자기 ‘Angry Birds’라는 단어의 늪에 빠져버렸다. 그러고는 무려 40,000토큰을 허공에 태우며 무한 루프를 돌았다.
진짜 무서운 건 “단순한 버그로 먹통이 됐다”가 아니라는 점이다. 모델의 ‘생각(reasoning)’ 로그를 까보니, 중간에 모델 스스로 “잠깐, 나 지금 똑같은 말을 끝없이 반복하고 있잖아?”라며 자기 상태를 정확히 인지하는 대목이 튀어나온다. 그런데 그렇게 인지하고도 탈출을 못 했다. 4만 토큰의 사투 끝에 겨우 앵그리버드 지옥에서 빠져나왔나 싶더니, 이번엔 뜬금없이 ‘Beetle(딱정벌레)’ 루프에 다시 걸려버렸다(코미디가 따로 없다).
무슨 일이 일어나고 있는가
원글 작성자가 공유한 추론 로그를 뜯어보면 과정이 기괴하면서도 흥미롭다. Reasoning(사고) 모드로 돌던 모델이 논리 체인을 엮어가다가 특정 개념에 꽂히면서 토큰 확률 분포가 비정상적으로 꼬였다. 그 결과 똑같은 문장 패턴을 뱅글뱅글 뱉기 시작한다.
그러다 중간에 “아, 나는 지금 같은 생각을 맴돌고 있구나”라는 메타 인지 문장을 생성했다. 하지만 바로 그 문장 자체가 다음 토큰 예측의 컨텍스트로 들어가 버렸다. 루프를 탈출하려는 관찰 행위 자체가 새로운 루프의 불쏘시개가 된 셈이다(뫼비우스의 띠다).
결국 LLM의 토큰 생성이 “직전 문맥을 보고 다음에 올 가장 확률 높은 단어를 찍는 과정”이라는 걸 상기하면 납득이 간다. 자기 반성문마저 컨텍스트에 박히는 순간, 모델에게 ‘반성’은 상태 탈출이 아니라 또 다른 상태 왜곡일 뿐이다. 관찰자 효과가 토큰 스트림 안에서 완벽하게 재현된 거다.
만약 클라우드 상용 API였다면 이런 진풍경(?)을 유저는 평생 보지 못했을 거다. 서버 단에서 알아서 커트당하거나 시스템 세이프가드가 에러를 뱉었을 테니까(아니면 내 카드에서 API 요금 몇만 원이 소리 소문 없이 털렸거나). 로컬 LLM이니까 터미널에 토큰이 뚝뚝 떨어지는 걸 실시간으로 지켜보며 모델의 밑바닥 실패 모드를 낱낱이 목격할 수 있었다.
소형 reasoning 모델의 민낯
이 사건은 아주 날카로운 질문을 던진다. 추론 모델이 뱉어내는 저 수많은 ‘생각의 과정’은 진짜 생각일까?
거대 클라우드 모델들은 넉넉한 파라미터와 빡센 자기 교정 파인튜닝 덕에 이런 멍청한 루프에 잘 빠지지 않는다. 설령 빠져도 금방 털고 나온다. 문제는 27B급 소형 로컬 모델에 reasoning을 억지로 때려 박았을 때다. 추론 예산(토큰)을 많이 줄수록, 모델이 자기가 지어낸 텍스트의 숲에서 길을 잃을 확률도 기하급수적으로 올라간다. 생각이 길어지면 뻘짓도 길어진다. 어째 밤에 쓸데없는 잡생각 하느라 잠 못 드는 내 모습과 너무 닮아서 씁쓸하다.
커뮤니티에서는 즉각 실전 처방이 오갔다. 반복 페널티와 temperature 값을 손보라는 조언부터, 추론 토큰 상한을 빡빡하게 걸라는 팁, 간단한 태스크엔 차라리 reasoning 모드를 끄라는 현실적인 타협안까지 나왔다. 로컬에서 최신 추론 모델을 데일리로 굴리려면 이런 모델의 ‘정신줄 놓는 실패 모드’까지 유저가 꿰뚫고 있어야 한다.
왜 이 기록이 값진가
대부분의 AI 실패 사례는 커뮤니티에서 단순한 짤방이나 웃음거리로 소비되고 만다. “AI 바보짓 레전드” 같은 제목으로. 하지만 이번 기록은 결이 다르다. 모델 실패의 속살을 가장 투명하게 들여다본 귀한 엔지니어링 관찰 일지다.
모델이 자기가 루프에 갇힌 걸 뼈저리게 알면서도 멈추지 못했다는 건, ‘자기 인식’과 ‘자기 제어’가 완전히 다른 차원의 메커니즘이라는 걸 극명하게 보여준다. 머리로는 “새벽 2시니까 쇼츠 그만 보고 자야지” 하면서도 손가락은 계속 위로 쓸어 올리는 인간의 모순과 뭐가 다른가 싶다(갑자기 모델한테 깊은 동질감이 느껴진다).
로컬 모델을 돌리는 취미를 가진 개발자라면 이런 로그를 유심히 봐둬야 한다. 미래에 모델이 훨씬 거대해져서 이런 멍청한 실수가 싹 사라지더라도, 2026년의 27B 소형 모델들이 어떤 지점에서 머리를 싸매고 고장 났었는지는 로컬 LLM 역사의 가장 생생한 화석이 될 테니까.