로컬 LLM

mini-AGI 학습 대시보드. 2억 4,010만 글자를 읽은 시점의 3행 3열 그래프로, 학습 손실과 검증 손실, 과목별 검증 손실, 학습률 제어기, 전문가별 라우팅 점유율, 삭제 직전 전문가 분포, 신규 전문가의 라우팅 점유율, 전문가 수 추이, 컨텍스트 창과 읽기 속도, 라우팅 집중도 곡선을 담았다

mini-AGI: A Continually Learning Byte-Level Language Model

Alexey Borsky가 공개한 mini-AGI는 8GB VRAM GPU 한 장에서 처음부터 학습하고, 배치 1의 데이터 스트림을 읽는 동안 학습을 멈추지 않는 바이트 단위 언어 모델이다. 전문가 가중치를 디스크 파일로 저장해 필요한 것만 GPU에 적재하며, 저자의 실험에서 망각을 억제한 핵심 요인은 전문가 풀보다 트렁크 학습률을 10분의 1로 낮춘 설정이었다.

Project NOMAD의 Command Center 대시보드. 오프라인 지식 라이브러리, AI 어시스턴트, 지도, 교육 모듈 타일이 배열되어 있다

Project NOMAD: Knowledge That Never Goes Offline

위키백과와 교육 과정, 오프라인 지도, 원하면 설치하는 로컬 AI를 인터넷 없이 돌아가는 컴퓨터 한 대에 담는 오픈소스 서버. 공개 반년 만에 깃허브 스타 3만 7천 개를 넘겼고, 릴리스 내역을 보면 이 프로젝트의 어려움은 지식 저장보다 소비자용 GPU에서 돌리는 로컬 추론 쪽에 있었다.

jamesob's guide to running SOTA LLMs locally

2,000달러로는 Qwen과 로컬 STT까지, 40,000달러로는 거의 Opus급 GLM-5.2까지. Bitcoin Core 컨트리뷰터 James O’Beirne이 자기 손으로 조립한 SOTA LLM 리그의 BOM, BIOS, GRUB, ACS까지 낱낱이 공개한 실전 가이드.

Using local LLMs for agentic coding

GitHub Copilot이 사용량 기반 과금으로 전환된 시점에, 로컬 LLM과 무료 클라우드 모델로 비용 부담 없이 에이전틱 코딩 환경을 꾸리는 실용 가이드. Gemma 4·LM Studio·Copilot Custom Endpoint·Pi·OpenRouter 무료 모델까지 단계별로 다룬다.

와트당 지능, 토큰맥싱 이후의 새 잣대

토큰을 많이 태울수록 좋다는 시대가 저물고, 모델의 능력을 전력으로 나눈 ‘와트당 지능’이 새 잣대로 떠올랐다. 로컬 모델로 무게중심이 옮겨가는 흐름과, 막상 에이전트 루프에 끼워 넣을 때 만나는 세 개의 벽, 그리고 실제 도입 경로를 정리한다.