r/openclaw에 어제 밤 올라온 짧은 고백성 글이 생각보다 오래 남는다. 글쓴이는 일주일 내내 OpenClaw 세팅에 매달렸다. 유튜브 영상을 몇 시간씩 보면서. 목표는 분명했다. AI에게 내 컴퓨터를 맡기는 것. 그런데 일주일 뒤 나온 결과물은 포토샵이랑 크롬을 켜주는 정도. 마우스는커녕 그 이상 아무것도 없다. “내가 초보라서 그런 걸까, 아니면 공짜 로컬 모델의 한계일까”라는 질문으로 글은 끝난다.
짧은 글이지만, 요즘 에이전트 도구를 처음 만지는 사람이라면 공감할 지점이 많다. 달린 답변 두 개가 특히 좋아서, 오늘은 이 스레드를 기준으로 문제를 어떻게 쪼개야 하는지 정리해 봤다.
환경부터 보면 이렇다. 윈도우 11 노트북에 RTX 4060ti, VRAM 8GB. 모델은 Ollama로 돌리는 로컬 모델. 로컬로 완전히 돌아가는 개인 비서, 그러니까 화면을 보고 프로그램을 조작해 주는 에이전트가 목표였는데 결과는 앱 실행이 전부.
답답한 상황이긴 한데, 댓글을 읽어 보면 이게 초보 탓도, GPU 탓만도 아니라는 게 보인다. 문제는 두 겹으로 나뉘어 있었다.
u/schabe의 지적이 이 스레드에서 가장 실무적이었다. 포토샵이랑 크롬이 열렸다는 사실은 “프로세스를 실행할 수 있다”는 것만 증명할 뿐, 브라우저 제어 도구나 데스크톱 컨트롤 도구가 붙어 있다는 증거는 아니라는 것.
말이 된다. 에이전트 프레임워크는 도구가 연결돼 있어야 그 도구를 부른다. 클릭할 수 있는 도구가 아예 없는 상태에서 모델을 아무리 갈아끼워도 클릭은 나오지 않는다. 확인 순서는 모델이 아니라 도구 쪽부터인 셈이다.
제안된 테스트도 단순하다. 크롬에서 페이지 하나를 열고, 이름이 있는 링크 하나를 클릭하게 해 보는 것. 딱 그것만. 그다음 실행 로그에서 실제로 어떤 도구가 호출됐고 결과가 뭔지 확인한다. 대충 이런 흐름이다.
→ tool: browser_navigate url: https://example.com
✓ 페이지 로드 완료
→ tool: browser_click target: "More information..."
✗ 사용 가능한 도구 없음 (no such tool)
로그 형식은 예시로 재구성한 것이다. 두 번째 호출이 여기서 실패한다면, 모델이 못나서가 아니라 클릭 도구가 연결 안 된 탓이다. 도구를 붙이면 된다. 참고로 브라우저 도구를 붙였다고 포토샵이 따라 움직이지는 않는다. 다루는 영역이 다르다.
덧붙여, 질문을 올릴 때는 모델 이름과 시도한 도구 호출, 에러 메시지를 키·토큰은 지운 채 그대로 첨부하라는 조언도 있었다. 어느 커뮤니티에서나 통하는 질문 요령이다.
도구 문제를 다 해결해도 남는 벽이 있다. u/LobsterWeary2675의 답변은 이렇다. 8GB VRAM에서 돌아가는 로컬 모델로는 OpenClaw의 메인 에이전트를 기대하기 어렵고, 어중간하게 도와주는 사이드킥 정도가 적당하다. 제대로 하려면 27B급 모델을 충분한 컨텍스트와 함께 돌릴 하드웨어가 필요하거나, 아니면 클라우드 API를 써야 한다.
‘충분한 컨텍스트’가 왜 강조되는지는 에이전트를 한 번이라도 돌려 본 사람은 안다. 도구 호출이 한 번으로 끝나는 일이 거의 없다. 열고, 읽고, 클릭하고, 결과를 확인하고, 다시. 이런 호출이 수십 번 쌓이면 컨텍스트가 불어나고, 작은 모델은 그 안에서 길을 잃기 시작한다. 한 번 잃으면 이후의 실수는 누적된다.
같은 날 r/LocalLLM에서 흥미로운 대조 사례가 올라왔다. RTX 5050 8GB를 쓰는 유저가 Qwen3.8-35B-A3B를 FreeToken이라는 도구로 돌려 봤는데, 품질은 기존 모델과 비슷하면서 속도가 2tps에서 20tps로 열 배 빨라졌다는 것. MoE 구조 덕에 활성 파라미터가 작아서 작은 VRAM에서도 돌아간다.
즉 작은 VRAM이 대화, 요약, 문서 정리 같은 용도에서 막혀 있다는 얘기는 아니다. 1년 전과 비교하면 로컬 모델의 실용성은 분명히 올라갔다. 다만 “에이전트의 두뇌”라는 용도는 이야기가 다르다. 두 글을 나란히 두면 그 경계가 꽤 선명해진다.
이 스레드가 남는 이유는 특별한 기술이 나와서가 아니라, 전형적인 실패 패턴이 그대로 기록돼 있어서다. 에이전트 도구를 깔고, 유튜브를 따라 세팅하고, 안 되니까 모델을 의심하고, 결국 “내가 초보라서?”로 수렴하는 흐름. 실제 진단 순서는 대체로 반대다. 로그부터, 다음이 도구 연결, 모델 역량은 그다음.
그리고 마지막 질문, “계속 투자할 가치가 있는가”에 대한 커뮤니티의 답도 나쁘지 않았다. 하드웨어를 올리거나, 클라우드 API로 넘어가거나, 아니면 로컬 모델의 역할을 사이드킥으로 좁히거나. 셋 중 하나다. “로컬로만 돌아가는 만능 비서”라는 목표 자체가 아직 시기상조라는 뜻이기도 하다.
일주일짜리 시행착오가 누군가의 일주일을 아껴주면 좋겠겠다.