로컬 LLM

2,000달러로는 Qwen과 로컬 STT까지, 40,000달러로는 거의 Opus급 GLM-5.2까지. Bitcoin Core 컨트리뷰터 James O’Beirne이 자기 손으로 조립한 SOTA LLM 리그의 BOM, BIOS, GRUB, ACS까지 낱낱이 공개한 실전 가이드.

GitHub Copilot이 사용량 기반 과금으로 전환된 시점에, 로컬 LLM과 무료 클라우드 모델로 비용 부담 없이 에이전틱 코딩 환경을 꾸리는 실용 가이드. Gemma 4·LM Studio·Copilot Custom Endpoint·Pi·OpenRouter 무료 모델까지 단계별로 다룬다.

토큰을 많이 태울수록 좋다는 시대가 저물고, 모델의 능력을 전력으로 나눈 ‘와트당 지능’이 새 잣대로 떠올랐다. 로컬 모델로 무게중심이 옮겨가는 흐름과, 막상 에이전트 루프에 끼워 넣을 때 만나는 세 개의 벽, 그리고 실제 도입 경로를 정리한다.