같은 칩, 절반의 속도로 팔리던 카드 — RTX 30 시리즈 GPU 언락 프로젝트
중고 RTX 3090은 로컬 LLM 진영의 국민 카드다. 24GB VRAM, 감당할 만한 전력, 중고 시장에서 구할 수 있는 가격. 두 장만 있으면 27B급 모델도 여유 있게 돌린다. 그 카드의 성능이 공짜로 30% 넘게 올라간다는 보고가 r/LocalLLM에 올라왔다. 새 카드를...
중고 RTX 3090은 로컬 LLM 진영의 국민 카드다. 24GB VRAM, 감당할 만한 전력, 중고 시장에서 구할 수 있는 가격. 두 장만 있으면 27B급 모델도 여유 있게 돌린다. 그 카드의 성능이 공짜로 30% 넘게 올라간다는 보고가 r/LocalLLM에 올라왔다. 새 카드를...
아마존에서 싼 안드로이드 카오디오를 사서 대시보드에 박아본 사람은 안다. 전원을 켜는 순간부터 이상하다. 메뉴마다 광고가 붙고, 출처를 알 수 없는 앱이 잔뜩 깔려 있고, 음성 비서는 기능을 쓰려면 돈을 내라고 한다. 어젯밤 r/ClaudeCode에 올라온 포스트는 여기서 한 걸음...
스마트 TV에 마이크가 달려 있다는 사실은 더 이상 뉴스가 아니다. 음성 명령을 쓰려면 필요한 부품이고, 설명서 구석에도 적혀 있다. 불편한 지점은 따로 있다. 그 마이크가 언제 켜지는지, 무엇을 듣는지, 들은 것이 어디로 흘러가는지 설명해주는 문서가 어디에도 없다는 것.
브라우저 엔진은 못 만드는 것으로 알려져 있다. Chromium, WebKit, Gecko. 수백 명의 엔지니어가 수십 년 동안 다듬어온 덩어리들이고, 새 브라우저를 만들겠다며 시작한 시도들은 대부분 결국 이 중 하나를 포크하거나 감싸는 데서 끝났다. 그런데 어제 r/ClaudeC...
로컬 LLM을 쓰다 보면 몸에 밴 대기가 하나 있다. 메시지를 다 쓰고 엔터를 누른 뒤, 첫 단어가 나올 때까지 화면을 들여다보는 일. 추론 모델이라면 10초 넘게 앉아 있는 것도 예사다. 그동안 GPU는 뭘 하고 있었을까. 아무것도 안 했다. 내가 문장을 쓰는 그 몇십 초 동안 ...